Вход
Регистрация
Публикации
Мужчина
Посмотри сериал "Бригада", тебе зайдетПосмотрел пару классных фильмов . «Пацан против всех» и «Наследник» по енглишу хау то маке а киллинг . А…… фильмы
|
Донат На хостинг |
ISK за переводы до 75kk за 1000зн. |
Хроники EVE Сборник |
Новичкам Полезная информация |
SkyFox
В теме:КИНО [инфо]
22 June 2026 - 15:45
В теме:Deepseek и другие ии
05 June 2026 - 14:50
Спасибо за развернутый ответ. Пробовал и 27 q8 и 35moe q4. По внутренним ощущениям, 27q8 дает более точные ответы. Скорость в обоих случаях 2-3 токена в секунду. Вообще мрак.Чтоб не поиграться надо железо нормальное, чтоб была не ОЗУ, а видеопамять. А какой именно крутишь, 27, или 35? Так-то 35 за счет того, что МоЕ модель на только ОЗУ без видео генерация должна быть терпимая, вот уже пережевывание того, что ему даешь будет да, очень долго, но если чисто для чата, то норм. А 27 и то и то будет сильно тормозное.
Еще можешь попробовать gpt-oss-120b - она хоть и староватая, но на самом деле довольно умная и в отличии от того-же Квена, думающих токенов генерирует гораздо меньше, Квен ппц многословный. И несмотря на то, что аж 120 миллиардов параметров, во-первых, это МоЕ модель и активных только 5, а во-вторых, у нее "из коробки" большинство параметров 4-х битные, так что занимает 67 Гб. Вполне вероятно, что она у тебя будет и шустрее и умнее Квена, как минимум 35.
Из бесплатных, есть возможность на OpenRouter зарегистрироваться? Не знаю, достаточно ли только регистрации, или надо деньги какие-то закинуть, но там есть бесплатные модели.
Подключил пока локальную llm к Hermes агенту. Он у меня вместо референта, за ночь(когда скорость не важна), готовит сводки новостей и прогнозы по интересующим меня темам. И вываливает мне в телегу.
На openrouter пока не регался. Периодически проскакивают новости, что они пытаются соблюдать ограничения.
Следующее, что хочу попробовать, какой нибудь российский аналог опенроутера и платный доступ к api гигачата от сбера.
Только нужно конвертер апи прикрутить, потому как сбер решили , что стандарт open.ai им не подходит
По железу, пока думаю. Есть возможность увеличить память у сервака до 128+ гб и прикрутить вторую голову (сканибалив аналогичный). Но из текущего опыта, скорость упирается в процессор.
Интересно, поставив какую нибудь 8gb карточку от Nvidia, можно будет увеличить скорость, не запихивая всю модель в Видеопамять.
Я пока в тему локального запуска не погружался.
Community Forum Software by IP.Board
Лицензия зарегистрирована на: EVE-RU