1070 ответов в теме

[makstomaks]

Нода в кластере, выцелить конкретную вряд ли возможно снаружи. А вот бить по всему серверу с приоритетом на сервера авторизации вполне возможно, что и было проделано. 

 

Так ноду и ломают другими средствами, запрыг там пяти сотен смартовигилов например.

[Cloned Mark]

Ну ты же смог ответить

Опять ты!

[Podli]

Нода в кластере, выцелить конкретную вряд ли возможно снаружи. А вот бить по всему серверу с приоритетом на сервера авторизации вполне возможно, что и было проделано. 

Я работаю как раз таки с игровыми кластерами. В том числе - с помощью бубна и всякой консольной магии - чиню всякие их болячки. ДДОсы - в том числе. На данный момент за ~4 года видел ажно целый один ддос, который чутка шатнул ажно целый один кластер. Ну и хренову тучу ДДОСов в гигабиты трафика, которые кластеры ваапче не замечали

А вот ситуацию, когда сами игроки логинами ложили кластер - видел неоднократно. Именно оно и произошло скорее всего и в этот раз. Просто сопсна кластеру по большому счету на внешний ддос плевать по многим причинам. 99.9% убьется соответсвующими фильтрами сетевого оборудования еще по дороге к хостам кластера. То, что доползет - будет тупо проигнорировано. Нужно целиком зафлудить сетевой интерфейс, что практически анрил - такой ддос зарежет магистральный или локальный провайдер, причем времени на это уйдет единицы минут максимум.

А вот с логинами - картина принципиально другая. Потому как чтобы залогинить игрока, нужно сделать довольно много всяческих колдунств. Т.к. ева - это один кластер в одном датацентре, то худое место - это база данных. И туева хуча игроков, жмущих на кнопку "логин" ложат ее всегда. Чтобы этого не происходило - нужен механизм ограничения количества логинов в единицу времени. Иначе получится то, что получилось:

1. По какой-то причине одномоментно дропает большое количество народу.

2. Они толпой жмут кнопку логина.

3. База данных тормозит под нагрузкой.

4. Многие игроки не могут залогиниться - запрос на логин обрабатывается, но слишком медленно - дохнет по таймауту - прилетает еще один запрос от того же игрока и т.д. Сие вызывает просто конскую нагрузку.

5. Уже играющих игроков - периодически выкидывает, т.к. БД не успевает обрабатывать и их запросы. Как следствие - всяческие там ошибки и дропы.

 

В принципе, кластер со временем всё енто прожует. Но тут епик бател на тысячи человеков всё портит - ибо эти игроки будут жать кнопку логина до победного конца.

В опчем, желаю ССРшным коллегам подумать над подобной фигней и соорудить инструменты ограничения нагрузки от логинящихся игроков в экстренных случаях подобных ентому.

[Aerodynamic]

А потом ты такой просыпаешься в один прекрасный момент и осознаешь что на дворе 2018. Что онлайн евы всего-то 20к+-. Что даже 4-5к единовременных обращений к логин серверу для современной ММО - по сути это ничто. Что господа из ССП живут на технологиях начала 2000-х. Что в оптимизацию кода по сути не вкладывается ничего года с 2010 примерно.

[Podli]

А потом ты такой просыпаешься в один прекрасный момент и осознаешь что на дворе 2018. Что онлайн евы всего-то 20к+-. Что даже 4-5к единовременных обращений к логин серверу для современной ММО - по сути это ничто.

Ага. Один вопрос - сколько весит один аккаунт игрока в еву?

[useless fat nerd]

А потом ты такой просыпаешься в один прекрасный момент и осознаешь что на дворе 2018. Что онлайн евы всего-то 20к+-. Что даже 4-5к единовременных обращений к логин серверу для современной ММО - по сути это ничто. Что господа из ССП живут на технологиях начала 2000-х. Что в оптимизацию кода по сути не вкладывается ничего года с 2010 примерно.

Аргументация уровень: ГОСПОДЬ. 

[Dead Knight]

Что даже 4-5к единовременных обращений к логин серверу для современной ММО - по сути это ничто.

Я конечно извиняюсь, но почему-то современные ММО до сих пор юзают костыли из "очередей" дабы сдерживать "ничего не значащий поток 4-5к обращений".

[makstomaks]

1. По какой-то причине одномоментно дропает большое количество народу.

 

Очень интересная простыня, но у меня два вопроса.

 

1. Какая разница между ддосом и массовым логином, кроме названия, ведь по сути это спам пакетов и забивание трафика, в чем поинт говорить "это не ддос, это логины!"?

2. Окей, это логины, но тебе не кажется, что объяснять падение логинсервера массовыми логинами с твоим первым пунктом "почему то все сломалось" это глупо? В таком случае объяснение может быть какое угодно - у тебя первый пункт предполагает вообще любую причину, например логин-сервер ццп почему то захотел забанить рядо подсетей и все эти люди дропнули, а при попытке логина их не пускало, потому что подсети забанены (это кстати более реальное объяснение, так как в эти моменты некоторые люди проникали на сервер из под впна, хотя их основной айпишник не пускало).

[Roudzik]

Спойлер

Я работаю как раз таки с игровыми кластерами. В том числе - с помощью бубна и всякой консольной магии - чиню всякие их болячки. ДДОсы - в том числе. На данный момент за ~4 года видел ажно целый один ддос, который чутка шатнул ажно целый один кластер. Ну и хренову тучу ДДОСов в гигабиты трафика, которые кластеры ваапче не замечали

А вот ситуацию, когда сами игроки логинами ложили кластер - видел неоднократно. Именно оно и произошло скорее всего и в этот раз. Просто сопсна кластеру по большому счету на внешний ддос плевать по многим причинам. 99.9% убьется соответсвующими фильтрами сетевого оборудования еще по дороге к хостам кластера. То, что доползет - будет тупо проигнорировано. Нужно целиком зафлудить сетевой интерфейс, что практически анрил - такой ддос зарежет магистральный или локальный провайдер, причем времени на это уйдет единицы минут максимум.

А вот с логинами - картина принципиально другая. Потому как чтобы залогинить игрока, нужно сделать довольно много всяческих колдунств. Т.к. ева - это один кластер в одном датацентре, то худое место - это база данных. И туева хуча игроков, жмущих на кнопку "логин" ложат ее всегда. Чтобы этого не происходило - нужен механизм ограничения количества логинов в единицу времени. Иначе получится то, что получилось:

1. По какой-то причине одномоментно дропает большое количество народу.

2. Они толпой жмут кнопку логина.

3. База данных тормозит под нагрузкой.

4. Многие игроки не могут залогиниться - запрос на логин обрабатывается, но слишком медленно - дохнет по таймауту - прилетает еще один запрос от того же игрока и т.д. Сие вызывает просто конскую нагрузку.

5. Уже играющих игроков - периодически выкидывает, т.к. БД не успевает обрабатывать и их запросы. Как следствие - всяческие там ошибки и дропы.

 

В принципе, кластер со временем всё енто прожует. Но тут епик бател на тысячи человеков всё портит - ибо эти игроки будут жать кнопку логина до победного конца.

В опчем, желаю ССРшным коллегам подумать над подобной фигней и соорудить инструменты ограничения нагрузки от логинящихся игроков в экстренных случаях подобных ентому.

Ну, во-первых, ЦЦП сообщало, что имеет место ДДоС. Два раза. Первый раз за два часа перед таймером, второй - непосредственно во время, на всем его протяжении. 

 

Во-вторых, сразу после ДТ на Транк вламывается порядка 5к игроков, причем я иногда в числе первых, и никаких проблем с авторизацией и  соединением не испытываю, т.е. сервер это спокойно выдерживает, в отличие от двух указанных выше периодов.

 

Что характерно, проблемы с подключением испытывал не один я, штурмующий кипстар флот отваливался частями и не мог войти обратно (имхо, это и было целью ДДоСа), но многие, не вникая в обстановку, думали что это ЦЦП не умеют в код. Хотя пост ЦЦП о ДДоСе существует до сих пор.

 

И, повторюсь, я пытался подключаться как обычно, напрямую, и меня не пускало вообще, даже авторизацию не проходил. Подключился через ВПН - пускало, но периодически выкидывало. Я написал, что подозрительно, что с адресов РФ подключения блокированы полностью во время ДДоСа- на меня тут же сагрились "клятi дичи" ((с) какой-то дич), хотя я на дичехейте не специализировался никогда, и раздаю тумаки всем подряд.

Сообщение отредактировал Roudzik: 03 August 2018 - 23:41

[Podli]

Очень интересная простыня, но у меня два вопроса.

 

1. Какая разница между ддосом и массовым логином, кроме названия, ведь по сути это спам пакетов и забивание трафика, в чем поинт говорить "это не ддос, это логины!"?

Ддос. Прилетает один пакет на конкретный сервер - уходит в игнор.

Масс логин. Прилетает запрос на сервер. Проводится валидация логин/пароля или токена. Если свой - идет запрос в игровую базу. База поднимает аккаунт игрока с дисков/памяти, разархивирует, отправляет на конкретную ноду. На ноде уже подымается соответствующая сущность аккаунта, с которой и начинает коммуницировать клиент дальше.

 

Ддос нагружает сетевой интерфейс конкретной ноды. Масс логины адски нагружают БД и бэкэнд сеть кластера. Как следствие - в первом случае вообще не должны страдать игроки, которые сидят не на этой ноде. А выкидывало всех и всюду.

БД заддосить невозможно в принципе просто потому что она не имеет сетевого интерфейса, торчащего наружу.

ДДОС ака имитация масс логинов - вааще не вариант. Ибо сия проблема решена ппц как давно у всех. Во первых - всяческие автобаны, по IP/подсетям в том числе ака защита от подбора паролей. Во вторых, даже если автобан каким-либо образом обошли - все закончится запросом в текстовое поле соответствующей проиндексированной таблички с логинами/паролями. В отличие от необходимости поднять, разархивировать и переслать десятки мегабайт в случае успешного логина.

 

Если БД не может быстро прожевать все поступающие запросы - жопа. Потому как запросы выстраиваются в очередь, выполняются с соответствующим отжором ресурсов. Но логина не происходит - оно умирает по таймауту. Клиент рисует ошибку, игрок жмет на логин еще раз, картина повторяется еще раз и т.д. Ну и вишенка на торте - выбросы уже играющих игроков из за той самой дышащей на ладан базы, которые только увеличивают спам.

 

"почему то все сломалось" 

Лиза, серваки смертны, и что самое поганое - внезапно смертны! Если у тебя сдохнет планка памяти на одной конкретной ноде - будет или смерть кластера целиком, или масс выброс народу.

Если у какого-то крупного провайдера случится авария - будет масс выброс.

И от этого ты не застрахован никак. Потому как от этого застраховаться тупо невозможно. Добро пожаловать в реальный мир.

[Dead Knight]

Ну, во-первых, ЦЦП сообщало, что имеет место ДДоС. Два раза. Первый раз за два часа перед таймером, второй - непосредственно во время, на всем его протяжении. 

Первый вот точно

А во второй обтекаемо сказали login issues

[makstomaks]

 

Лиза, серваки смертны, и что самое поганое - внезапно смертны! 

 

Ога, каждые два дня умирают на протяжении полугода.

Сообщение отредактировал makstomaks: 03 August 2018 - 23:54

[Roudzik]

Первый вот точно

А во второй обтекаемо сказали login issues

Я страдал оба раза, зуб даю - одно и то же.

 

Спойлер

Ддос. Прилетает один пакет на конкретный сервер - уходит в игнор.

Масс логин. Прилетает запрос на сервер. Проводится валидация логин/пароля или токена. Если свой - идет запрос в игровую базу. База поднимает аккаунт игрока с дисков/памяти, разархивирует, отправляет на конкретную ноду. На ноде уже подымается соответствующая сущность аккаунта, с которой и начинает коммуницировать клиент дальше.

 

Ддос нагружает сетевой интерфейс конкретной ноды. Масс логины адски нагружают БД и бэкэнд сеть кластера. Как следствие - в первом случае вообще не должны страдать игроки, которые сидят не на этой ноде. А выкидывало всех и всюду.

БД заддосить невозможно в принципе просто потому что она не имеет сетевого интерфейса, торчащего наружу.

ДДОС ака имитация масс логинов - вааще не вариант. Ибо сия проблема решена ппц как давно у всех. Во первых - всяческие автобаны, по IP/подсетям в том числе ака защита от подбора паролей. Во вторых, даже если автобан каким-либо образом обошли - все закончится запросом в текстовое поле соответствующей проиндексированной таблички с логинами/паролями. В отличие от необходимости поднять, разархивировать и переслать десятки мегабайт в случае успешного логина.

 

Если БД не может быстро прожевать все поступающие запросы - жопа. Потому как запросы выстраиваются в очередь, выполняются с соответствующим отжором ресурсов. Но логина не происходит - оно умирает по таймауту. Клиент рисует ошибку, игрок жмет на логин еще раз, картина повторяется еще раз и т.д. Ну и вишенка на торте - выбросы уже играющих игроков из за той самой дышащей на ладан базы, которые только увеличивают спам.

 

Лиза, серваки смертны, и что самое поганое - внезапно смертны! Если у тебя сдохнет планка памяти на одной конкретной ноде - будет или смерть кластера целиком, или масс выброс народу.

Если у какого-то крупного провайдера случится авария - будет масс выброс.

И от этого ты не застрахован никак. Потому как от этого застраховаться тупо невозможно. Добро пожаловать в реальный мир.

Тебе не кажется, что дело ещё и в архитектуре конкретного кластера?

И наиболее пострадал не игровой сервер, а сервер авторизации. Транк чувствовал себя плохо, но сдюжил. Онлайн просел на треть примерно, но не дропнулся совсем. А вот те, кто вылетел - страдали.

[Podli]

 

Тебе не кажется, что дело ещё и в архитектуре конкретного кластера?

И наиболее пострадал не игровой сервер, а сервер авторизации. Транк чувствовал себя плохо, но сдюжил. Онлайн просел на треть примерно, но не дропнулся совсем. А вот те, кто вылетел - страдали.

Тогда какого фига сильно просел онлайн, если проблема в логинах?

Недоступность логинов никак не сказывается на уже залогиненых. И дроп с 24к до 16к за единицы минут недоступностью логинов не объяснят даже британские ученые.

Тут много чего может быть. МБ конкретная перегруженая нода не справлялась с подъемом сущностей игроков, сбрендившие процессы кластера, заспамившие бэкэнд сеть, сдохшая по железу нода с сопутствующим переездом кучи всего на другие и т.д. Все енто вместе с кучей игроков, жмущих логин в епик бател вполне себе может положить кластер.

 

Просто я наблюдаю несколько десятков кластеров, повидал многое.

 

Во-вторых, сразу после ДТ на Транк вламывается порядка 5к игроков

У нас после ДТ то же самое. Но когда на 15 минут в прайм прилег наш аналог логин сервера - база сделала ручкой. Пришлось руками резать допустимый логинрейт.

Ога, каждые два дня умирают на протяжении полугода.

У кого как. У меня таки да - примерно раз в несколько дней обнаруживается скончавшийся по железу сервак. Се ля ви.

[Sebastian]

Тот прекрасный момент когда всем плевать на бой и его результаты и важно лишь то, что ССР рукожопы.
Кактус все равно продолжат есть.

[Stalkertx]

Тот прекрасный момент когда всем плевать на бой и его результаты и важно лишь то, что ССР рукожопы.
Кактус все равно продолжат есть.

А что делать, есть ещё подобная игра про кораблики?

[Art1st]

Очень интересная простыня, но у меня два вопроса.

 

1. Какая разница между ддосом и массовым логином, кроме названия, ведь по сути это спам пакетов и забивание трафика, в чем поинт говорить "это не ддос, это логины!"?

2. Окей, это логины, но тебе не кажется, что объяснять падение логинсервера массовыми логинами с твоим первым пунктом "почему то все сломалось" это глупо? В таком случае объяснение может быть какое угодно - у тебя первый пункт предполагает вообще любую причину, например логин-сервер ццп почему то захотел забанить рядо подсетей и все эти люди дропнули, а при попытке логина их не пускало, потому что подсети забанены (это кстати более реальное объяснение, так как в эти моменты некоторые люди проникали на сервер из под впна, хотя их основной айпишник не пускало).

Собственно с точки зрения конечного игрока - разницы видно не будет. Я больше скажу - стотыщлетназад сервера так и убивали, натравливая ботов на логин сервер конкурента. К слову, описанное является реально существующим фактором, всплывающим, в том числе - при росте серверов. У нас, например, был свой лулз: у сервера был сайт и форум, как водится на нем был счетчик онлайна и лампочка статуса сервера (оффлайн/онлайн). Также сервер имел ежедневное ДТ по расписанию и все такое, но вот само время ДТ как и у евы - могло иногда растягиваться из-за патчинга. Так вот, происхлодило на деле вот что: онлайн сервера 9к, сервер ребутается, и 5к народу идет на сайт и жмет ф5 на сайте чтобы первым зайти на сервер, вебсервер крякает и ложится на 15 минуток отдохнуть. По сути логин на гейм сервер - мало чем отличается, в свое время и с этим были проблемы - в итоге запускали игроков в несколько потоков, а не выстраивая очередь в 9к клиентов.

[Cor]

Клятi дичи, кто же ещё мог быть. Мы же во всем виноваты.

По такому серьезному делу уж на вас точно никто не подумал даже.

[Sub]

Итого, ДДоС в пользу защитников кипстара, возможно с адресов РФ. Кто бы это мог быть?

 

Брекинг ньюз: рашн хэккэрс хайли лайкли ДДОС'д сисипи сёрваз ин Ландан. Зыс из эназер ван ландан аттак.

Сообщение отредактировал Sub: 04 August 2018 - 11:52

[panzermaster18]

Хочу обратить внимание что массовые траблы начали после переезда БД евки на SQL2017...