Перейти к содержимому

Donate
На хостинг
ISK за переводы
до 75kk за 1000зн.
Хроники EVE
Сборник
Новичкам
Полезная информация
Фотография

«Транквилити Т3»


  • Авторизуйтесь для ответа в теме
102 ответов в теме

#1
Clancy

Clancy

    Clone Grade Ksi

  • CCP loc. team
  • 12396 сообщений
3008
  • EVE Ingame:Paul Clancy
  • Client:Рус

*
Одобрено
сообществом!

Оригинал статьи на английском, источник перевода

От имени команды Operations, включив на всю катушку специальную музыку для сочинения статей (Skálmöld), с гордостью представляю вам большой проект под названием «Транквилити Tech III», который по нашим планам будет завершен в самом начале 2016 года.

Проект называется TQ Tech III (TQ от полного названия «Транквилити», главный сервер EVE Online) из-за того, что инфраструктура Евы физически меняется в третий раз. ССР делает значительные инвестиции в совершенно новое оборудование (сетевое оборудование, система хранения и серверы), а также переносит его на новый хостинг в Лондоне.

В прошлом мы уже делали похожие подвиги Геракла. Вот пара ссылок, чтобы освежить память:5C0JTNL.pngСогласно парадигме «Ева навсегда», настало время опять обновить «Транквилити», и вооружиться новыми методами и технологиями последних лет, направив их на обеспечение и поддержание сложнейшего игрового мира и услуг доступа к нему.
У TQ Tech III есть множество аспектов, которые я буду пояснять при помощи своих коллег-разработчиков.
Внимание: сейчас будет много супер-пупер технологий!

Дополнительная избыточность

Система хранения данных «Транквилити» дублируется и избыточна. Массив хранилищ всегда был избыточным, но сейчас мы увеличили количество элементов устойчивости к сбоям.

У нас будет полное зеркало сети хранения данных (SAN mirror) для одновременного поддержания «Транквилити» и резервной копии в рабочем состоянии, а также для точного воспроизведения базы данных «Транквилити» на другом берегу океана в Исландии, стране льда и пламени.

Вот как будет выглядеть «Транквилити» со стороны хранилища данных после окончания работ:

1.png

Вы можете увидеть два контроллера SAN фирмы IBM, определяющих работу двух контроллеров V5000 той же фирмы; они, в свою очередь, сохраняют все данные на трёх стойках расширения, содержащих 9 твердотельных накопителей по 800 Гб, что в сумме дает 83 диска 1.2Tб 10K SAS. Не забудьте, что всё это дублируется, так что для полной картины удвойте цифры!

Всё это работает очень быстро, а новое хранилище должно обращаться к серверам…

Новые серверы

С первого дня «Ева» работала на блейд-серверах IBM. Для обновления мы выбрали новое поколение серверов IBM под названием IBM FLEX. На картинке выше вы можете видеть связь одного шасси FLEX с системой хранения.
Концепция FLEX похожа на блейды в том, что шасси предоставляет питание и охлаждение и может нести до 14 узлов (нод) на каждом шасси.

Для сравнения, сегодня блейды «Транквилити» работают с четырьмя гигабитными соединениями, причем каждый из 14 узлов обладает доступом к двум гигабитным соединениям, поскольку у них по две сетевые карты.

Новое шасси IBM Flex получит четыре десятигигабитных соединения, дав каждому узлу пропускную способность в 2х10 Гбит.

На сегодняшний день это слишком много для «Евы», но после установки оборудования наши инженеры смогут экспериментировать с новыми интересными способами масштабирования производительности «Транквилити» и архитектуры в целом. Это, конечно, потребует времени, но мгновенный эффект состоит в очень быстром выпуске обновлений!

Кроме того, в результате серьёзно улучшится наше виртуальное серверное окружение, например при переносе в реальном времени виртуальных машин на другой физических хост.

Ах да, у нас будет 6 таких шасси. :D

2.png
3.png
4.png

Правда, красиво?

Вы можете заметить обилие избыточных компонентов. Так и задумано: для обслуживания «Транквилити» мы можем отключить одно шасси полностью, а игроки продолжат воевать, писать в чатах, производить, исследовать и обманывать на оставшихся пяти стойках.

Серверы соединяются с системой хранения через шестнадцатигигабитные свитчи IBM SAN 2498-F48. Всё скоммутировано так, чтобы избежать существования потенциально сбойных точек, зависящих от единственного узла системы.

Mahālangūr Himāl

Сейчас у нас есть один компонент кластера «Транквилити», который мы называем «Эверест». Он используется в ситуациях, когда необходимо справиться с очень высокой нагрузкой - обычно это происходит во время самых крупных в ММО сражений.

У «Транквилити Т3» будет шесть узлов типа «Эверест».

Это позволит одновременно взрывать очень много кораблей. А ещё в случае необходимости некоторые альянсы могут одновременно забыть оплатить важные счета!

Обаятельная база данных «Транквилити»

Давайте поближе взглянем на кластер. Начнем с оборудования для работы с базой данных «Транквилити».

5.png

У каждой из четырех машин Microsoft SQL Database будет внушительные 768 Гб оперативной памяти, работающей на частоте 1866 МГц. У них будет по 2 процессора Intel E7-8893 v3 — процессор с частотой 3.2 ГГц и 4 ядрами (8 с гипертредингом) и кешем в 45 Мб, что делает их идеальным решением для интенсивной работы с базой данных.

Вот более подробный рассказ о базе данных от её администраторов.

Кластеры БД

Сейчас у нас три главных кластера базы данных:
  • «Транквилити» (2-хпроцессорный с 32 ядрами в гипертрединге)
  • Веб-сервер (2-хпроцессорный с 24 ядрами в гипертрединге)
  • Сервер управления учетными записями и платежами (2-хпроцессорный с 24 ядрами в гипертрединге)
Все три работают на совершенно разных типах оборудования из разных поколений архитектуры, соединенных между собой надёжной матарской изолентой, благочестивыми амаррскими молитвами, наивным и радостным духом галлентов и низкокачественной проволокой, массово выпускавшейся в Государстве Калдари. На новом кластере «Транквилити» мы собираемся всё оптимизировать и освободить немного места, поэтому объединим веб-сервер и сервер управления учетными записями и платежами. «Транквилити» останется отделённым от остальных.

Мы заменим процессоры X7560 по 2.26 ГГц пятилетней давности на новые блестящие E7-8893 v3 по 3.2 ГГц. Одна только тактовая частота увеличится на 45%, а скорость работы с памятью вырастет аж на 75%, с 1066 до 1866!! Не подумайте плохо - нам понадобится вся эта дополнительная мощность, поскольку объём памяти вырастет с 672 Гб до 1,5 Тб. Ага, всё верно - полтора ТЕРАбайта оперативки! Вот так и живём — меряем память «Транквилити» терабайтами!
Помните, что это цифры только для активных узлов. Если учесть вторичные и пассивные узлы, то общий объём памяти кластера «Транквилити» следует удвоить. 3 Тб оперативной памяти для 2х рабочих кластеров - ммммм, прекрасно!

Мы рассматривали возможность использования единого активно-активного кластера из двух узлов, но решили отказаться от этого по разным причинам. К примеру, если один из cluster.exe перестанет работать, то вся контора может накрыться. А изолированный кластер «Транквилити» позволит быть спокойными за всю систему.

Итак, у нас есть 4 невероятно мощных компьютера для БД, содержащих два наших кластера. Это привело нас к очень интересной идее, позволяющей увеличить отказоустойчивость.

Виртуализируй всё!

6.png

Перед тем, как читать дальше, помните: это лишь рабочая идея, которую ещё надо испытать. Вполне возможно, что мы выкинем её и вернёмся к старым добрым кластерам (которые по-прежнему будут крутиться на суперпуперкрутом оборудовании из райских кущ)

Мы хотим создать ферму из 4х кластеров ESXi с 4 монструозными узлами. Поверх гипервизора мы создадим оба наших кластера SQL-серверов, назначив каждый узел кластера одному серверу ESXi - как будто они существуют физически. Фактически ничего не изменится, но…

Настоящая польза этого проявится когда (или «если», но скорее всего «когда») один из физических серверов потребуется отключить по какой-либо причине или провести плановое обслуживание. В этом случае, обычный физический кластер из двух узлов будет работать лишь на одном узле, а нам придётся скрестить пальцы в надежде, что с узлом-который-сейчас-совсем-один ничего не произойдёт. Нам понадобится множество благочестивых амаррских молитв.

В случае с виртуальным решением, мы можем просто посредством vMotion перенести пассивный узел кластера с его персонального хоста ESXi на другой хост ESXi (тот самый, который содержит пассивный узел второго кластера)... и мы в дамках! Конечно, тот хост с двумя пассивными узлами будет перегружен, но проблемы возникнут не раньше, чем мы потеряем ещё два хоста!

Как следствие, мы не только получим дополнительную защиту БД при помощи Windows Failover Clustering, но и сможем пережить отказ нескольких аппаратных узлов! Нам надо провести много проверок, но в целом технология уже известна, так что в самом деле, что может пойти не так?

Всегда ваша

7.png

CCP DeNormalized, CCP Hunter, CCP Stephanie и CCP Jolin

Назад к кластеру!

Технические подробности «Транквилити» сегодня и «Транквилити Т3»

G9k6Iru.png

Обновление сети

До сих пор мы говорили о быстрых серверах и обилии быстродействующих хранилищ. Но что-то должно всё это соединить в одно целое, а также соединить с тем местом, где обычно хранятся смешные картинки с котиками (т.е. с интернетом). В противном случае, EVE Online будет совсем… не онлайн.

Передаю слово нашей сетевой команде

Наши надежные роутеры Cisco 7606 с 2009 года верой и правдой служили сетевым потребностям. Мы связаны с более, чем 20 провайдерами и получаем полные таблицы протокола граничного шлюза от пяти из них, что в сумме составляет более двух миллионов значений атрибутов пути, которые компилируются в полмиллиона глобальных таблиц наилучшего пути для протокола граничного шлюза на каждом граничном роутере. Эти почтенные динозаврым мира роутеров работали с ними без перерыва на обед.

Тем не менее, технология не просто шагнула, а прыгнула вперёд за последние шесть лет. Настало время отправить старые роутеры на заслуженный отдых и заменить их на роутеры нового поколения. Ради славных пилотов Нового Эдема мы вновь используем лучшее из лучшего оборудования. Ничего иного «Транквилити» не заслуживает!

Новые аппараты с пропускной способностью в 120 Гбит/с и удвоенным объёмом памяти на порядок мощнее, что позволяет повысить число связанных с нами провайдеров. Благодаря дополнительной оперативной памяти они хранят заранее рассчитанные резервные копии маршрутов BGP для каждого активного маршрута, что позволяет переключить неверный путь на запасной в течение считанных миллисекунд. Это значит, что если что-то случится с провайдером, непосредственно соединенным с нами, большинство игроков, чей маршрут в сети проходит через этого провайдера, переключат на другого провайдера без потери соединения. Новые роутеры позволят нам улучшить качество соединения и благодаря увеличенной памяти и вычислительной мощности откроют перед нами россыпь новых возможностей.

Другой фундаментальной частью сегодняшней сетевой инфраструктуры «Транквилити» являются балансировщики нагрузки Cisco ACE 30. Эти коробки очень сложно конфигурировать, но они занимают особое место в наших сердцах, любящих высокие технологии. Они позволяют нам быстро вносить на «Транквилити» серьёзные изменения и надёжны как скала.

Однако несколько лет назад компания Cisco ушла с рынка сетевых балансировщиков и оставила платформу ACE умирать медленной смертью. С тех пор мы испытывали разные платформы и, наконец, нашли отличную замену, которая не только обеспечит прирост производительности, но и даст новые возможностти.

Только с точки зрения производительности, на новом «Транквилити» мы увеличим пропускную способность с 16 Гбит/с до 30 Гбит/с, а максимальное число одновременных подключений увеличим с четырёх миллионов до двадцати четырёх миллионов. Новые сетевые балансировщики не оставили равнодушными не только команду Operations, но и весь отдел разработки Евы. Мы потираем руки прямо как капсулёр, в первый раз севший на «титан».

8.png

Сетевые соединения

Мы не только обновляем оборудование, но и ищем новые возможности улучшения сетевого соединения с точки зрения опыта игроков. Одной из связанных с этим инициатив стало развертывание новой интеллектуальной платформы роутинга для оптимизации маршрутов BGP. Эта система автоматически проверяет как задержку, так и число потерянных пакетов для каждого игрока, соединенного с «Транквилити», путём одновременного тестирования маршрутов от каждого присоединенного к нам провайдера до провайдера игрока. Она прозрачно для пользователя переключает соединения на наилучший доступный путь. Активные соединения проверяются регулярно в течение нескольких часов. Эта система уже доказала, что может без задержек обходить множество препятствий и отключений сетевых узлов на вечно волнующихся просторах интернета. Превосходный инструмент отчётов позволит нам создать список провайдеров, обеспечивающих игрокам наилучший доступ к EVE Online.

9.png
10.png

Как видно из результатов испытаний на рисунках выше, интеллектуальная платформа роутинга позволила улучшить качество соединения с более чем 7000 сетей провайдеров по всему миру, снизив потери пакетов при соединении с «Транквилити» на 91% там, где эти потери наблюдались, а также в 59% случаев обходя отключенные участки в интернете. Задержка также значительно снизилась, сократившись на 20% у более чем половины из всех медленных соединений. Вот такие результаты мы всегда рады видеть!

В заключение, мы продолжим расширять наше сотрудничество с LINX (London Network Exchange), что позволит нам напрямую соединяться с большим числом интернет-провайдеров. Таким образом, игроки, использующие услуги этих провайдеров, смогут напрямую соединяться с «Транквилити», не проходя при этом через лишние общие сети в интернете, что снизит число прыжков и обеспечит значительно более стабильное соединение.

Мы бы хотели поведать вам множество головокружительных подробностей о наших новых игрушках (поверьте, мы можем говорить о них бесконечно!), но специалисты из отдела безопасности говорят, что они должны храниться в тайне. Но! Но! Но! Если вы на следующем «Фанфесте» посетите круглый стол со специалистами команды Operations, мы обещаем чуть-чуть приоткрыть завесу тайны и немного рассказать о новом чудесном мире улучшенных сетевых соединений в интернете.

- CCP Lucca and CCP Skylark

Новый дом

Вначале «Транквилити» располагался в центре «Cable and Wireless» в Лондоне, а затем переехал на другую сторону улицы в центр «Telecity» в феврале 2006 года. И вот, спустя почти 10 лет, мы переезжаем в новый датацентр (открытый в 2014 году), построенный по последнему слову техники.
На протяжении нескольких месяцев серверы будут работать параллельно в обоих центрах. Затем, когда всё будет готово, мы переключимся на сервер в новом месте и постараемся сделать перерыв минимальным по времени.

Мы рассчитываем полностью создать и запустить «Транквилити Т3» в самом начале 2016 года.

Затем мы перенесём то, что вскоре будет известно под именем «Старый Транквилити» домой, в Исландию, в датацентр «Verne Global» (который снабжается электричеством от таинственной геотермальной вулканической энергии). На этом сервере, собранном из частей старого «Транквилити» и небольших дополнений, мы планируем расположить все наши тест-серверы: «Сингьюлэрити», «Мултиплисити» и т.д.
После этого мы начнем дублировать новую БД «Транквилити» из Лондона в Исландию, чтобы у нас был дополнительный источник в случае внезапного начала Рагнарёка в центре Англии.

В начале ноября выйдет ещё одна статья с изображениями нашего оборудования, устанавливаемого в Рейкьявике, а также отчет о проделанной работе.

Отдел технического обслуживания взволнован и горд проектом «Транквилити Т3» и его значением для EVE Online и игроков.

Но хватит писать. Пора вернуться к работе.

CCP Gunshow, от имени команды CCP Ops

Сообщение отредактировал Clancy: 14 October 2015 - 22:58

  • 29

Лично я - полисексуальная кошечка, запертая в теле женщины.

запоминать три фигуры (квадратик, крест, дрон, треугольник, овал)


#2
Neosignal

Neosignal

    rat under varotnaya

  • Tech III Pilots
  • PipPipPipPipPip
  • 1774 сообщений
718
  • EVE Ingame:Emika Neosignal
  • Corp:Inner Hell
  • Channel:Snake Squad.
  • Client:Eng

тлдр, лаги пройдут?


  • 0

#3
Oziriso

Oziriso

    Clone Grade Epsilon

  • Tech III Pilots
  • PipPipPip
  • 350 сообщений
21
  • EVE Ingame:kliump
  • Client:Eng


  • 0
На инкурсусах частенько бывало, что дрон, увидев, в каком ганге он оказался, отказывался покидать дронбей невзирая ни на какие команды. Даже когда его удавалось выпихнуть наружу, он не летел к цели, а цепляясь за лючок всеми своими маленькими лапками, пищал и просился впустить его обратно. © falcn

#4
vmarkelov

vmarkelov

    Clone Grade Omicron

  • EVE-RU Team
  • 19506 сообщений
4343
  • EVE Ingame:Kej Lacitis
  • EVE Alt:Kej Al'tos
  • Corp:Space Mechanics
  • Ally:Circle of Hell
  • Client:Рус

Кстати, вопрос в тему:

а продолжение этого девблога

 

 

Продолжительное отключение сервера: взгляд за кулисы

 

http://forum.eve-ru....howtopic=114033

 

будет?


Сообщение отредактировал vmarkelov: 14 October 2015 - 22:55

  • 0
Не сожалей о том что было, не думай о том что могло быть.

#5
AlexCh

AlexCh

    Clone Grade Epsilon

  • Tech III Pilots
  • PipPipPip
  • 327 сообщений
-10
  • Client:Рус

Это как-то коррелирует с растущей стоимостью плекса и падающим онлайном?  :laugh:


  • 0

617e4470407d7125c4e2beeb1a3d1ada.jpg

сертифицированный графоман 8-го уровня

http://samlib.ru/a/aleksej_g_k/


#6
Vollhov

Vollhov

    Clone Grade Ksi

  • Tech III Pilots
  • PipPipPipPipPipPipPipPipPip
  • 13610 сообщений
1893
  • EVE Ingame:Vollhov Jr (Vollhov)
  • DUST Ingame:Такой игры не существует
  • EVE Alt:-
  • Corp:AND.
  • Ally:Red Alliance
  • Client:Рус

Ну всё "Дрифтеры" точно вернуться и уничтожат Амарр :)


  • 0

ihnLXpl.jpg

 


#7
Dagot Ur

Dagot Ur

    Clone Grade Epsilon

  • Tech III Pilots
  • PipPipPip
  • 260 сообщений
31
  • EVE Ingame:Dagot Ur
  • Corp:Iris Covenant [.IRC]
  • Ally:The Gorgon Empire
  • Client:Eng
А есть ли лист провайдеров с которыми они сейчас соеденины?
  • 0

#8
L'ecran

L'ecran

    Make Anime great again

  • Tech III Pilots
  • PipPipPipPipPipPipPipPipPipPip
  • 16945 сообщений
1849
  • EVE Ingame:L'ecran
  • EVE Alt:Walk'in
  • Client:Eng

лучше бы лаги пофиксили, ох вейт


  • -1

На еве-ру нет места лжи, ненависти и некачественному постингу - надеюсь, это ты запомнишь.

Это частный ресурс, тут нет никакой справедливости, несмотря на то, что про неё тут много пишут, тут предвзятое модерирование, тут всем плевать на правила, если есть какой-то интерес или профит. Бороться за правду на этом форуме не имеет смысла.

 


#9
Korvin

Korvin

    Фтопку все, кто будет меня искать - скайп Korvin1978 только в ин

  • Tech III Pilots
  • PipPipPipPipPipPipPip
  • 6814 сообщений
2519
  • EVE Ingame:Korvin
  • DUST Ingame:RIP
  • EVE Alt:Alpha Korvin
  • Corp:Shadow Kingdom
  • Ally:Best Alliance
  • Client:Eng

KG3sv1LUFlM.jpg Мммм... технический стриптиз!


  • 1

#10
total13

total13

    Clone Grade Eta

  • Tech III Pilots
  • PipPipPipPip
  • 574 сообщений
186
  • EVE Ingame:trix Metesur
  • Corp:B.B.H
  • Client:Рус

а с пингом как ?


  • 0

#11
Smokyline

Smokyline

    Clone Grade Lambda

  • Tech III Pilots
  • PipPipPipPipPipPip
  • 3854 сообщений
2232
  • EVE Ingame:Vedja Scrappy

лучше бы шкурки на шипы ввели


  • 3

youtube

 

[18:20:58] Lotara Sarrinn > надоело. потом они говорят - ПОЧЕМУ ОНЛАЙН ИГРЫ УПАЛ на 20к. Да потому что какие-то м***** держат пол евы лун, другие м***** на любую попытку генерить контент - обольют грязью на форуме. у третьих м****** чсв овер 9к


#12
Lehadyd

Lehadyd

    РМТ-барон повержен...

  • Tech III Pilots
  • PipPipPipPipPipPipPipPip
  • 8099 сообщений
4034
  • EVE Ingame:Gas Grease
  • EVE Alt:Lehadyd
  • Corp:ищу
  • Client:Рус

лучше бы шкурки на шипы ввели

синенькие


  • 0

#13
Tesseya

Tesseya

    Clone Grade Kappa

  • Tech III Pilots
  • PipPipPipPipPip
  • 3697 сообщений
1553
  • EVE Ingame:Tesseya
  • Corp:VWD
  • Ally:HARDDR0P
  • Client:Eng

Сервак готовят к вайпу, посаны!


  • 0
Неулыбчивые русские не начинают войн. Их начинают жизнерадостные европейцы. Неулыбчивые русские войны заканчивают. Как правило, в европейских столицах. И тогда русские на некоторое время становятся самым улыбчивым народом. Ненадолго. Потому, что Война всегда рядом...

#14
Vollhov

Vollhov

    Clone Grade Ksi

  • Tech III Pilots
  • PipPipPipPipPipPipPipPipPip
  • 13610 сообщений
1893
  • EVE Ingame:Vollhov Jr (Vollhov)
  • DUST Ingame:Такой игры не существует
  • EVE Alt:-
  • Corp:AND.
  • Ally:Red Alliance
  • Client:Рус

Сервак готовят к вайпу, посаны!

К F2P системе :trololo:


  • 0

ihnLXpl.jpg

 


#15
makstomaks

makstomaks

    Clone Grade Omicron

  • Drake Pilots
  • PipPipPipPipPipPipPipPipPipPip
  • 46456 сообщений

А зачем улучшать производительность оборудования, если онлайн падает?



#16
Vollhov

Vollhov

    Clone Grade Ksi

  • Tech III Pilots
  • PipPipPipPipPipPipPipPipPip
  • 13610 сообщений
1893
  • EVE Ingame:Vollhov Jr (Vollhov)
  • DUST Ingame:Такой игры не существует
  • EVE Alt:-
  • Corp:AND.
  • Ally:Red Alliance
  • Client:Рус

А зачем улучшать производительность оборудования, если онлайн падает?

Цитадели онлайн поднимут. Я тебе отвечаю :)


  • 0

ihnLXpl.jpg

 


#17
Smokyline

Smokyline

    Clone Grade Lambda

  • Tech III Pilots
  • PipPipPipPipPipPip
  • 3854 сообщений
2232
  • EVE Ingame:Vedja Scrappy

Цитадели онлайн поднимут. Я тебе отвечаю :)

чем отвечаешь?


  • 0

youtube

 

[18:20:58] Lotara Sarrinn > надоело. потом они говорят - ПОЧЕМУ ОНЛАЙН ИГРЫ УПАЛ на 20к. Да потому что какие-то м***** держат пол евы лун, другие м***** на любую попытку генерить контент - обольют грязью на форуме. у третьих м****** чсв овер 9к


#18
Jack Hareka

Jack Hareka

    белко

  • Tech III Pilots
  • PipPipPipPipPip
  • 3323 сообщений
1379
  • EVE Ingame:Jack Hareka
  • Corp:Monks of War
  • Ally:SB-SQ
  • Client:Eng

Давно не было таких длинных блогов, а ведь главное хороший патч!

:trololo:  :trololo:


  • 0

#19
makstomaks

makstomaks

    Clone Grade Omicron

  • Drake Pilots
  • PipPipPipPipPipPipPipPipPipPip
  • 46456 сообщений

Цитадели онлайн поднимут. Я тебе отвечаю :)

 

Ну окей, ждем весну.



#20
Vollhov

Vollhov

    Clone Grade Ksi

  • Tech III Pilots
  • PipPipPipPipPipPipPipPipPip
  • 13610 сообщений
1893
  • EVE Ingame:Vollhov Jr (Vollhov)
  • DUST Ingame:Такой игры не существует
  • EVE Alt:-
  • Corp:AND.
  • Ally:Red Alliance
  • Client:Рус

чем отвечаешь?

Всеми моими ассетами в игре. :) (Которых у меня нет)


  • 0

ihnLXpl.jpg

 





0 посетителей читают тему

0 members, 0 guests, 0 anonymous users