287 ответов в теме

[SkyFox]

Во первых, огромное спасибо уважаемому Поинтеру. В башке, стало немного проясняться.

Действительно, после того как посмотрел повнимательнее, dense модель, на моем железе дает 2 т/с, а MOE 6,5 t/c

Ну в общем от десятилетнего сервака большего ожидать не стоит наверное.

[Gwin]

[Kurles]

Картинка с вакансией

Клод код описание  ваканстии и составлял,  ничего удивительного =)

[SkyFox]

Самое забавное, что любой толковый разработчик, вставляет в резюме "опыт работы с клод кодом 11лет", (помимо всего остального опыта) и прекрасно проходит в следующий круг отбора.

Ибо на начальном этапе, отклик будет проверять ии, на соответствие основным формальным признакам.

[Gwin]

Самое забавное, что любой толковый разработчик, вставляет в резюме "опыт работы с клод кодом 11лет", (помимо всего остального опыта) и прекрасно проходит в следующий круг отбора.

Ибо на начальном этапе, отклик будет проверять ии, на соответствие основным формальным признакам.

 

Только я вижу абсурдность такого положения дел?

[Mark Nomad]

Более того сейчас и предварительно собеседование по телефону ИИ проводит

[SkyFox]

Котаны имею вопрос.
Имеется связка:
Llama.cpp на сервере proxmox в контейнере lxc
Openwebui на другой машине тоже в контейнере lxc
Локальный поисковый движок Searxng так-же в контейнере lxc

Поисковый движок на своем эндпоинте 192.168.x.x:3000 выдаёт веб морду поисковой строки и результаты поиска.

Локальные модели запущенные в llama.cpp прекрасно общаются со мной, что через свою веб морду, что через Openwebui
Пробовал qwen3.6 и Gemma 4 в разных вариациях.

В openwebui подключен мой searxng в качестве поисковика.

Если прошу модель найти что нибудь в сети(например погоду на завтра), она сначала ищет, находит несколько сайтов, но потом говорит я локальная модель и мои знания ограничены датой обучения бла, бла, бла.

Втыкал в логии searing, он даже отдает модели какие-то данные в контекст, но дальше дело не идет.

Может кто сталкивался и поборол подобное ?


Доп. Инфа. Если ту-же самую модель на том же самом llama.cpp сервере подключить например к Hermes агенту, он прекрасно все ищет и выводит данные из сети.

[Pointer]

SearXNG поисковик, который отдает список найденых ресурсов, где будет заголовок, ссылка и краткий кусочек. Надо еще доп. тулзы, которые будут уметь ходить по ссылкам и забирать данные. Если такую тулзу добавить, то модель получив список с результатом поиска, начнет запрашивать странички по линкам из списка. Но, честно говоря, я давно очень с этим игрался, у многих сейчас капча и результат был фиговый, наверняка что-то придумали, раз в hermes работает, но я не проверял.