Перейти к содержимому

Донат
На хостинг
ISK за переводы
до 75kk за 1000зн.
Хроники EVE
Сборник
Новичкам
Полезная информация

Pointer

Фотография Pointer

Pointer

Регистрация: 19 Jun 2008
Не на форуме Активность: Сегодня, 22:05
*****

#5110245 Deepseek и другие ии

Написано Pointer на 06 June 2026 - 20:19

Смотря для чего. Так-то он однозначно будет быстрее чем на обычном серваке с ОЗУ только, или с видюхой у которой мало памяти, чисто за счет того, что скорость шины памяти уже 256 Гб/с и толи 75%, толи 90% памяти (уже не помню) расшарена с видеоядрами, то есть они тоже будут таблички молотить. Но сам по себе проц с интегрированым видео слабенький, к сожалению. Если нужен обязательно ноутбучный формат и денег на макбук М5 макс нет (у меня вот нет) и очень-очень хочется, то сойдет.
Его плюс это много памяти, что хорошо для MoE моделей, но в 128Гб сильно большие модели все равно не влезут, а те, что влезут, проигрывают по интеллекту новым dense моделям типа Qwen3.6-27b и Gemma4-31b, а они на таком железе будут медленные очень, им нужна видеопамять. Хорошая сторона в том, что им надо не так много видеопамяти. Так что если хочется побольше интеллекта и поменьше платить, то лучше взять пару видюх в нормальный ящик, будет на порядок быстрее.
Еще есть промежуточный вариант - DGX Spark. Там тоже 128Гб памяти, скорость памяти не сильно выше чем у Strix Halo (то, что по твоей ссылке), но сам проц намного шустрее. И еще, у него есть специальный высокоскорной кабель чтоб соединить два таких в кластер и на таком кластере уже можно запустить DeepSeek4 Flash. Но и стоит DGX Spark уже в два раза больше чем Strix Halo, а два таких будут стоить в 4 раза больше. Вообще, Нвидия совсем недавно представила RTX Spark, который будет и в ноутбучном формате, но когда он будет в продаже и почем - хз.
Для понимания немого цифр, которые дал мне быстрогугл:
Первая цифра - prompt processing t/s, вторая - скорость генерации токенов.
gpt-oss 120B MXFP4 MoE:
Nvidia DGX Spark / 1723.07 / 38.55
AMD Strix Halo / 339.87 / 34.13
3x RTX 3090 / 1641.89 / 124.03

Gemma 4 31B (Dense), 4 bit
Nvidia DGX Spark / 900 / 11
AMD Strix Halo / 330 / 10
Для Gemma 4 31B (Dense), 4 bit, достаточно двух 3090, первая цифра будет в районе 1000 т/с, вторая в районе 50 т/с.
Кстати, вчера Гугль выпустил Gemma 4 QAT (Quantization-Aware Training) версии 4-х битные, это когда модели квантуют и затем дотренировывают из-за чего они показывают результат 16-и битных, но в 4 раза меньше.

 

Да, кстати, для плотных моделей можно заюзать MTP multi-token prediction, это когда специальная мелкая модель используется в паре и она дает варианты токенов, которая большая проверяет, вместо того, чтоб полностью самой генерировать. Это даст где-то 2-2.5 раза выше скорость генерации токенов на моделях Qwen3.6-27b и Gemma 4 31B, но где-то на 20% ниже prompt processing. На видюхах, или на спарке имеет смысл использовать, дает хороший буст скорости. На Strix Halo, или ОЗУ оно полезно для чата, а для агентских задач, которые перемалывают много данных, можно наоборот замедление получить.


  • 1


#5109636 Плач разведенок.

Написано Pointer на 02 June 2026 - 17:47

Сколько шансов, что мужик, занимающийся бизнесом денег от которого хватало на всю семью, после того как расходы сократились на минус жена, а доходы увеличились на плюс алименты, на эту разницу не наймет сиделку детям?


  • 2


#5109365 Чуть-чуть поржать vol. 2

Написано Pointer на 31 May 2026 - 18:06

А потом компания наняла на эту должность троих, каждого с ЗП как у уволенного и те не справляются в полной мере.
Уволенный же живёт припеваючи на 1,5-2х ЗП и в ус не дует, о времени проведенном в покинутой компании вспоминает с ужасом.
Знаем, видели.

Возможно. Но если верить скриншоту, чувак построил презентацию не как обычно, вокруг того какую пользу он принес, и сколько такой спец в среднем стоит по рынку, а вокруг шантажа. А шантажистов не любят и побаиваются, кто знает как далеко он в шантаже может зайти, завтра залезет не в те данные и будет уже ими шантажировать. Поэтому и уволили, уж луше потратиться, но без критических рисков.


  • 1


#5106202 Deepseek и другие ии

Написано Pointer на 17 May 2026 - 0:55

Я вот когда бухаю, стараюсь на форуме не писать, а то потом стыдно бывает. :)


  • 1


#5105451 Чуть-чуть поржать vol. 2

Написано Pointer на 11 May 2026 - 19:52

Если есть VGA, то почему нет COM и LPT портов?


  • 1


#5101303 Чуть-чуть поржать vol. 2

Написано Pointer на 18 April 2026 - 20:45

Спойлер

Запах помню отчетливо: эта хрень хорошо помогает при комариных укусах, втираешь и больше не чешется. Поэтому до последнего на даче у бабушки были банки с этим одеколоном, включая ковидные времена.
  • 1


#5101301 Плач разведенок.

Написано Pointer на 18 April 2026 - 20:29

Осадил.

Ололо, какой сердитый мущщинка! Баба, конечно, тупая звизда, но и он ничуть не лучше, а может и еще тупее.
Передайте этому открывателю глаз, што во-первых, он переврал правило паретто, оно 80/20, а не 100/20, а во-вторых, оно работает в обе стороны и 80% пацанов подавай инторнет багинь с 30млн подписчиков, а по сторонам они и не смотрят.
Точно также как в мире какой-то там процент мужчин-девственников, есть такой-же процент баб девственниц за 30. Застенчивые девченки, которые сначала учатся на бапские специальности, где только женский коллектив вокруг, затем работают на бабкских работах в женском коллективе. А после работы/учебы - дом полный одиночества, книжек, чужих соцсетей и игрушкек. Слишком робкие, чтоб пойти в кабак или какое-то более приличное общественное место, в итоге перезревают в старых дев.
Виноваты в том, что происходит ни бабы, ни мужики, а глобальная перестройка мира. Сейчас есть куча исследований на тему того, что западный мир захлестнула эпидемия одиночества. Там, где раньше большую часть времени люди общались с другими людьми вживую, а дом был местом отдыха, теперь дом это раковина в которой подавляющее большинство сидит всю жизнь вылезая только поработать, даже в магазины больше не ходят. Зачем вылезать-то? Дома есть ютубы, игрушки, тиктоки и, конечно, соцсети в которых всегда кто-то не прав!
Кстати, инцелам-мужикам есть реальный лайфхак, которым они, конечно-же никогда не воспользуются, пока есть интернет где можно рыдать о том как им бабы не дают: можно пойти и записаться на обучение каким-нибудь танцам. В таких местах подавляющее большинство бап, а мужиков вечно не хватает. Что делать одиноким бабам я не знаю.
  • 1


#5100756 Плач разведенок.

Написано Pointer на 16 April 2026 - 6:38

Боже мой, какие люди нервные на скриншоте. Мне вот глубоко похеру кто там что под руку может говорить, я могу даже покивать и поулыбаться, а сделаю все равно так, как мне нравится и буду наслаждаться хавчиком и жизнью. А вылить свой труд в унитаз только потому-что кто-то где-то побубнил, этож насколько самого себя надо нелюбить-то?


  • 4


#5100070 EVE-RU — познавательный

Написано Pointer на 10 April 2026 - 23:42

Это отрывок из фильма "Физика в половине десятого". Какая-то больная на голову корова переделала в вертикальный формат, потом из вертикального в горизонтальный, чтоб можно было только с лупой разглядывать что там происходит, и вырезала почти все, оставив кусочек. Нахер было говноканал сюда нести, вместо нормальной версии???? Твой чтоли канал?


  • 2


#5097066 Чуть-чуть поржать vol. 2

Написано Pointer на 08 February 2026 - 23:12

я уже не помню на какой номер надо было звонить


  • 2


#5092653 Плач разведенок.

Написано Pointer на 16 January 2026 - 20:29

Новый рекорд: забоянить самого себя в одном и том-же сообщении. :)


  • 1


#5088218 Deepseek и другие ии

Написано Pointer на 27 December 2025 - 20:49

Под русский язык, наверное Whisper от OpenAI будет самым лучшим, большинство других нацеленны на английский, или если китайские модели, то на китайский и английский. У Виспера, за счет огромной популярности, есть файнтюны заточенные под разные языки, включая русский. Висперы есть под разные размеры, начиная с мелочи, которые на телефоне на лету могут речь распознавать, и до 1.5B параметров, которые на лету только на компе с видюшкой смогут. В общем, смотри здесь: https://huggingface....hisper-large-v3

 

На счет дообучить на свой голос, так-то все ASR модели изначально очень маленькие, так что должны дешево дообучиваться, но как это делать я хз.


  • 1


#5086995 Чуть-чуть поржать vol. 2

Написано Pointer на 20 December 2025 - 22:47

Когда красные становятся инфракрасными, желтые становятся красными, так что врет чувак, что доплер виноват.


  • 1


#5083999 Чуть-чуть поржать vol. 2

Написано Pointer на 12 December 2025 - 1:38

Может он злится оттого, что DDR5 работающей на 8-и килогерцах не бывает :)


  • 1


#5083678 Посоветуйте собрать комп vol.2

Написано Pointer на 09 December 2025 - 19:43

В 2018 году работал в одной конторе которая в т.ч. компилятором LLVM/Clang занималась, в т.ч. оптимизациями, ездили с еще одним чуваком на переговоры в Гуголь, шоб они тоже нам денег дали, те, кроме всего прочего, сказали, что когда компилятор С++ который они для сборки используют оптимизируют на 1%, это экономит гуглю сотни миллионов баксов в год.

В опщем, там, где бизнесу оптимизации кода нужны, там их стараются делать.


  • 2