287 ответов в теме

[Dei Palladium]

гуманойд, войн!

[sdi1759]

https://www.youtube....ive/luU57hMhkak

Андройд за работой

если подключить к розетке, самоокупаемость ан почте России 100%, а прибыль 700%

Мне ИИ понравилось юзать вместо гугла, когда не могу кратко сформулировать запрос, либо обработка какого-либо текста, вроде правильной постановки запятых и т.д.

 

 

очень сложно и не понятно...

ладно вместо гугла*... тут вопросов нет...

но когда "не могу кратко сформулировать запрос" -

это очень грустно, так как ты не понимаешь чего хочешь.

уж тем более для гугла* который уже давно ИИ юзает во всю...

 

касаемо обработки, но ты ваще совсем ....

че там обрабатывать? или ты книги пишешь?

не те ли в которых все начинается с: - " внезапно появилась надпись, интеллект 10, ловкость 5, сила 2, и тд"

 

черт я уже прежде чем книгу скачать проверяю на одаренность писателя проскакивая несколько глав обзорно .... на всяк случай.

 

 

 

 

 

[Sleepers]

очень сложно и не понятно...

ладно вместо гугла*... тут вопросов нет...

но когда "не могу кратко сформулировать запрос" -

это очень грустно, так как ты не понимаешь чего хочешь.

уж тем более для гугла* который уже давно ИИ юзает во всю...

 

касаемо обработки, но ты ваще совсем ....

че там обрабатывать? или ты книги пишешь?

не те ли в которых все начинается с: - " внезапно появилась надпись, интеллект 10, ловкость 5, сила 2, и тд"

 

черт я уже прежде чем книгу скачать проверяю на одаренность писателя проскакивая несколько глав обзорно .... на всяк случай.

Я вполне понимаю, чего хочу, но иногда хотелку сложно изъяснить кратким запросом, который понял бы гугл.

 

По поводу текста - я книги читаю, в том числе "онгоинги". И не всегда согласен с автором/редактором о правильности написания/применения слова, запятых или общего построения фразы. И иногда обращаюсь к ИИ для разбора редактуры текста.

 

Ну и, к сожалению, до сих пор при работе с ИИ обязательна вилочка под рукой, что бы снимать лапшу, которую он периодически пытается навешать на уши, особенно если просишь у него что-то крайне узкоспециализированное.

[sdi1759]

Я вполне понимаю, чего хочу, но иногда хотелку сложно изъяснить кратким запросом, который понял бы гугл.

 

По поводу текста - я книги читаю, в том числе "онгоинги". И не всегда согласен с автором/редактором о правильности написания/применения слова, запятых или общего построения фразы. И иногда обращаюсь к ИИ для разбора редактуры текста.

 

Ну и, к сожалению, до сих пор при работе с ИИ обязательна вилочка под рукой, что бы снимать лапшу, которую он периодически пытается навешать на уши, особенно если просишь у него что-то крайне узкоспециализированное.

не ну я понимаю...  

хотя нет не понимаю....  

совсем ен понимаю!

нет слов....

 

 

ОРУ СЦУКО!

 

ты вот специально?!

да ведь?

ты ведь не такой?!

или я совсем потеряю надежду на будущее....

[Sleepers]

Ты что сказать-то хотел? 

[sdi1759]

Ты что сказать-то хотел? 

ты извини

против тебя лично ничего не имею ...  ну наверно....

просто смешно получилось... по ситуации и твоему ответу.

ничего личного.

[Pointer]

Я вот когда бухаю, стараюсь на форуме не писать, а то потом стыдно бывает.

[DIMFIRE]

https://www.youtube....ive/luU57hMhkak

Андройд за работой

штрихкоды считывает? Или что вообще делает?

[Pointer]

Я так понял, переворачивает штрихкодами вниз и раскладывает по одному, а где-то там дальше по конвейру они будут считываться.

[Mark Nomad]

Расходимся, у этого робота заметили движение как будто он очки поправляет, т.е. скорее всего там кто-то удаленно через вр-очки рулил, хотя как они там так долго пахали, тоже вопрос

[Gwin]

Привычный нам поиск в Google официально умер — теперь для большинства запросов по умолчанию будет включаться ИИ-поиск, а реальные сайты будут на втором плане.
Владельцы сайтов не совсем довольны такому обновлению, потому что текущий формат ИИ-поиска и так уменьшил переходы на их сайты, а теперь в некоторых случаях они и вовсе лишатся трафика.
Однако, сама Google называет это «самым большим обновлением поиска за 25 лет».

Не совсем так, конечно. Пока есть кнопка между режимами поиска.
Но тенденции настораживают.

[SkyFox]

Привет чят.

Кто нибудь из форумчан локальные ллм использует, в практических целях, а не просто поиграться ?

Я вот третий день кручу локальный qwen3.6 квантованный q8 на серваке без GPU но с 128gb памяти.
Впечатления двойственные.

С одной стороны бесплатно и без танцев с бубном с доступами.
В несложных задачах, качество +/- на уровне облачного квена.
Но , скорость никакая.

Может кто подскажет, где остались еще более менее "бесплатные" варианты подключения облачных моделей ?

После того как qwen зарубил подключение по oAuth , как то грустно стало.

[uhm]

> Может кто подскажет, где остались еще более менее "бесплатные" варианты подключения облачных моделей ?

https://github.com/c...m-api-resources

У меня лично проверенный вариант - Мистраль, но там нужен европейский номер телефона вроде бы, чтобы смс-код получить при регистрации.

[Pointer]

Кто нибудь из форумчан локальные ллм использует, в практических целях, а не просто поиграться ?

Я вот третий день кручу локальный qwen3.6 квантованный q8 на серваке без GPU но с 128gb памяти.
Впечатления двойственные.

С одной стороны бесплатно и без танцев с бубном с доступами.
В несложных задачах, качество +/- на уровне облачного квена.
Но , скорость никакая.

Чтоб не поиграться надо железо нормальное, чтоб была не ОЗУ, а видеопамять. А какой именно крутишь, 27, или 35? Так-то 35 за счет того, что МоЕ модель на только ОЗУ без видео генерация должна быть терпимая, вот уже пережевывание того, что ему даешь будет да, очень долго, но если чисто для чата, то норм. А 27 и то и то будет сильно тормозное.

Еще можешь попробовать gpt-oss-120b - она хоть и староватая, но на самом деле довольно умная и в отличии от того-же Квена, думающих токенов генерирует гораздо меньше, Квен ппц многословный. И несмотря на то, что аж 120 миллиардов параметров, во-первых, это МоЕ модель и активных только 5, а во-вторых, у нее "из коробки" большинство параметров 4-х битные, так что занимает 67 Гб. Вполне вероятно, что она у тебя будет и шустрее и умнее Квена, как минимум 35.


Из бесплатных, есть возможность на OpenRouter зарегистрироваться? Не знаю, достаточно ли только регистрации, или надо деньги какие-то закинуть, но там есть бесплатные модели.

Сообщение отредактировал Pointer: 05 June 2026 - 6:56

[SkyFox]

Чтоб не поиграться надо железо нормальное, чтоб была не ОЗУ, а видеопамять. А какой именно крутишь, 27, или 35? Так-то 35 за счет того, что МоЕ модель на только ОЗУ без видео генерация должна быть терпимая, вот уже пережевывание того, что ему даешь будет да, очень долго, но если чисто для чата, то норм. А 27 и то и то будет сильно тормозное.

Еще можешь попробовать gpt-oss-120b - она хоть и староватая, но на самом деле довольно умная и в отличии от того-же Квена, думающих токенов генерирует гораздо меньше, Квен ппц многословный. И несмотря на то, что аж 120 миллиардов параметров, во-первых, это МоЕ модель и активных только 5, а во-вторых, у нее "из коробки" большинство параметров 4-х битные, так что занимает 67 Гб. Вполне вероятно, что она у тебя будет и шустрее и умнее Квена, как минимум 35.


Из бесплатных, есть возможность на OpenRouter зарегистрироваться? Не знаю, достаточно ли только регистрации, или надо деньги какие-то закинуть, но там есть бесплатные модели.

Спасибо за развернутый ответ. Пробовал и 27 q8 и 35moe q4. По внутренним ощущениям, 27q8 дает более точные ответы. Скорость в обоих случаях 2-3 токена в секунду. Вообще мрак.

Подключил пока локальную llm к Hermes агенту. Он у меня вместо референта, за ночь(когда скорость не важна), готовит сводки новостей и прогнозы по интересующим меня темам. И вываливает мне в телегу.

На openrouter пока не регался. Периодически проскакивают новости, что они пытаются соблюдать ограничения.

Следующее, что хочу попробовать, какой нибудь российский аналог опенроутера и платный доступ к api гигачата от сбера.
Только нужно конвертер апи прикрутить, потому как сбер решили , что стандарт open.ai им не подходит

По железу, пока думаю. Есть возможность увеличить память у сервака до 128+ гб и прикрутить вторую голову (сканибалив аналогичный). Но из текущего опыта, скорость упирается в процессор.

Интересно, поставив какую нибудь 8gb карточку от Nvidia, можно будет увеличить скорость, не запихивая всю модель в Видеопамять.

Я пока в тему локального запуска не погружался.

Сообщение отредактировал SkyFox: 05 June 2026 - 14:55

[Mark Nomad]

Автоматизируешь думскроллинг?

[Ali On]

У гиги прямо в оф доке есть гигапрокси, которая оборачивает нормальные запросы в запросы к сберу.

Зачем 8? 3060 дешёвые и уже 12)

Сообщение отредактировал Ali On: 05 June 2026 - 16:13

[Pointer]

Пробовал и 27 q8 и 35moe q4. По внутренним ощущениям, 27q8 дает более точные ответы. Скорость в обоих случаях 2-3 токена в секунду. Вообще мрак.

Не должна быть одинаковая скорость. Вообще, там две части, сначала идет prompt processing, когда он пережевывает все то, что закинул в модель до того, как сгенерирует первый токен. И его скорость упирается в то, насколько быстро твой прорц обсчитывает матрицы. Операции очень простые и важно не то, насколько умные ядра их считают, а то, насколько их много. Видюхи выигрывают, получая тысячи токенов в секунду там, где i7 выдаст в районе сотни токенов в секунду.
Дальше идет скорость генерации и вот она уже в основном зависит от скорости шины памяти. Очень грубо количество токенов можно прикинуть как скорость шины памяти разделить на количество активных параметров. У DDR5 одноканальной где-то 40Гб/с, у двухканальной - 80Гб/с (для сравнения, у 5090 - 1800Гб/с), Qwen3.6-27b это плотная модель, работают все 27b параметров, скорость выплевывания токенов на двухканальной DDR5 будет 80/27=2.9 т/с, а вот Qwen3.6-35b это МоЕ модель, у нее только 3b активных параметров, и скорость должна упираться в 80/3=26 токенов в секунду. На деле меньше, но в любом случае скорость должна быть в несколько раз выше, чем у 27b.
Ты как запускаешь модели, кстати? Для запуска в ОЗУ наиболее популярны варианты llama.cpp, Ollama и lmstudio. Обычно начинают с Ollama, т.к. там настроек минимум, но, как минимум раньше, она была раза в 2-3 тормознее чем llama.cpp, сейчас, как я понял, они тупо используют llama.cpp под капотом, впрочем как и lmstudio. Лучше напрямую использовать llama.cpp, как-раз из-за обилия настроек и не только. Если не ошибаюсь, чекпойнты для кеша нормально работают только в llama.cpp, а они должны быть критически важны для агентской работы, когда в агента уходит дохрена данных и пересчитывать их по каждому чиху - накладно.
 

Интересно, поставив какую нибудь 8gb карточку от Nvidia, можно будет увеличить скорость, не запихивая всю модель в Видеопамять.

На 27b модели выигрыш будет, но маленьким, для dense моделей надо чтобы и сама модель и весь кэш помещался в видеопамять, иначе скорость падает на порядки. На 35b, за счет того, что это МоЕ модель, уже будет виден прирост: у llama.cpp есть флаги конфига, позволяющие настроить что куда будет выгружаться.

Сообщение отредактировал Pointer: 05 June 2026 - 18:47

[Mark Nomad]

Такой пепелац сгодиться для персональной СШК?

https://www.asus.com...rt-px13-hn7306/

[Pointer]

Смотря для чего. Так-то он однозначно будет быстрее чем на обычном серваке с ОЗУ только, или с видюхой у которой мало памяти, чисто за счет того, что скорость шины памяти уже 256 Гб/с и толи 75%, толи 90% памяти (уже не помню) расшарена с видеоядрами, то есть они тоже будут таблички молотить. Но сам по себе проц с интегрированым видео слабенький, к сожалению. Если нужен обязательно ноутбучный формат и денег на макбук М5 макс нет (у меня вот нет) и очень-очень хочется, то сойдет.
Его плюс это много памяти, что хорошо для MoE моделей, но в 128Гб сильно большие модели все равно не влезут, а те, что влезут, проигрывают по интеллекту новым dense моделям типа Qwen3.6-27b и Gemma4-31b, а они на таком железе будут медленные очень, им нужна видеопамять. Хорошая сторона в том, что им надо не так много видеопамяти. Так что если хочется побольше интеллекта и поменьше платить, то лучше взять пару видюх в нормальный ящик, будет на порядок быстрее.
Еще есть промежуточный вариант - DGX Spark. Там тоже 128Гб памяти, скорость памяти не сильно выше чем у Strix Halo (то, что по твоей ссылке), но сам проц намного шустрее. И еще, у него есть специальный высокоскорной кабель чтоб соединить два таких в кластер и на таком кластере уже можно запустить DeepSeek4 Flash. Но и стоит DGX Spark уже в два раза больше чем Strix Halo, а два таких будут стоить в 4 раза больше. Вообще, Нвидия совсем недавно представила RTX Spark, который будет и в ноутбучном формате, но когда он будет в продаже и почем - хз.
Для понимания немого цифр, которые дал мне быстрогугл:
Первая цифра - prompt processing t/s, вторая - скорость генерации токенов.
gpt-oss 120B MXFP4 MoE:
Nvidia DGX Spark / 1723.07 / 38.55
AMD Strix Halo / 339.87 / 34.13
3x RTX 3090 / 1641.89 / 124.03

Gemma 4 31B (Dense), 4 bit
Nvidia DGX Spark / 900 / 11
AMD Strix Halo / 330 / 10
Для Gemma 4 31B (Dense), 4 bit, достаточно двух 3090, первая цифра будет в районе 1000 т/с, вторая в районе 50 т/с.
Кстати, вчера Гугль выпустил Gemma 4 QAT (Quantization-Aware Training) версии 4-х битные, это когда модели квантуют и затем дотренировывают из-за чего они показывают результат 16-и битных, но в 4 раза меньше.

 

Да, кстати, для плотных моделей можно заюзать MTP multi-token prediction, это когда специальная мелкая модель используется в паре и она дает варианты токенов, которая большая проверяет, вместо того, чтоб полностью самой генерировать. Это даст где-то 2-2.5 раза выше скорость генерации токенов на моделях Qwen3.6-27b и Gemma 4 31B, но где-то на 20% ниже prompt processing. На видюхах, или на спарке имеет смысл использовать, дает хороший буст скорости. На Strix Halo, или ОЗУ оно полезно для чата, а для агентских задач, которые перемалывают много данных, можно наоборот замедление получить.

Сообщение отредактировал Pointer: 06 June 2026 - 20:41