Смотря для чего. Так-то он однозначно будет быстрее чем на обычном серваке с ОЗУ только, или с видюхой у которой мало памяти, чисто за счет того, что скорость шины памяти уже 256 Гб/с и толи 75%, толи 90% памяти (уже не помню) расшарена с видеоядрами, то есть они тоже будут таблички молотить. Но сам по себе проц с интегрированым видео слабенький, к сожалению. Если нужен обязательно ноутбучный формат и денег на макбук М5 макс нет (у меня вот нет) и очень-очень хочется, то сойдет.
Его плюс это много памяти, что хорошо для MoE моделей, но в 128Гб сильно большие модели все равно не влезут, а те, что влезут, проигрывают по интеллекту новым dense моделям типа Qwen3.6-27b и Gemma4-31b, а они на таком железе будут медленные очень, им нужна видеопамять. Хорошая сторона в том, что им надо не так много видеопамяти. Так что если хочется побольше интеллекта и поменьше платить, то лучше взять пару видюх в нормальный ящик, будет на порядок быстрее.
Еще есть промежуточный вариант - DGX Spark. Там тоже 128Гб памяти, скорость памяти не сильно выше чем у Strix Halo (то, что по твоей ссылке), но сам проц намного шустрее. И еще, у него есть специальный высокоскорной кабель чтоб соединить два таких в кластер и на таком кластере уже можно запустить DeepSeek4 Flash. Но и стоит DGX Spark уже в два раза больше чем Strix Halo, а два таких будут стоить в 4 раза больше. Вообще, Нвидия совсем недавно представила RTX Spark, который будет и в ноутбучном формате, но когда он будет в продаже и почем - хз.
Для понимания немого цифр, которые дал мне быстрогугл:
Первая цифра - prompt processing t/s, вторая - скорость генерации токенов.
gpt-oss 120B MXFP4 MoE:
Nvidia DGX Spark / 1723.07 / 38.55
AMD Strix Halo / 339.87 / 34.13
3x RTX 3090 / 1641.89 / 124.03
Gemma 4 31B (Dense), 4 bit
Nvidia DGX Spark / 900 / 11
AMD Strix Halo / 330 / 10
Для Gemma 4 31B (Dense), 4 bit, достаточно двух 3090, первая цифра будет в районе 1000 т/с, вторая в районе 50 т/с.
Кстати, вчера Гугль выпустил Gemma 4 QAT (Quantization-Aware Training) версии 4-х битные, это когда модели квантуют и затем дотренировывают из-за чего они показывают результат 16-и битных, но в 4 раза меньше.
Да, кстати, для плотных моделей можно заюзать MTP multi-token prediction, это когда специальная мелкая модель используется в паре и она дает варианты токенов, которая большая проверяет, вместо того, чтоб полностью самой генерировать. Это даст где-то 2-2.5 раза выше скорость генерации токенов на моделях Qwen3.6-27b и Gemma 4 31B, но где-то на 20% ниже prompt processing. На видюхах, или на спарке имеет смысл использовать, дает хороший буст скорости. На Strix Halo, или ОЗУ оно полезно для чата, а для агентских задач, которые перемалывают много данных, можно наоборот замедление получить.

Вход
Регистрация


Публикации
Мужчина

