20 ответов в теме

[Astaroth]

Есть у меня нехорошее предвиденье, что уютненький скоро склеит ласты, как старый синий форум. Прям совсем-совсем скоро.

Поэтому я хочу помочь комьюнити и спарсить здесь все снизу доверху. Я знаю, что парсер написать не очень сложно. Но есть проблема - я не знаю как. А тем кто знает -  наплевать на форум, поэтому никто не парсит.

Но если вы расскажете мне в целом как это работает и как это писать (в общих чертах), то я обещаю что довольно быстро напишу парсер и схороню уютненький со всей его великой историей для всех последующих поколений. Можно будет даже сделать это в таком формате, чтобы потом можно было на основе сохранённой архивной информации открыть уютненькое заново.

Помогите парсер напейсать, а? Я обещаю парсить так, чтобы форум от меня не тормозил.

P.S. А заодно скажите, сколько оно будет весить.

Сообщение отредактировал Astaroth: 05 June 2024 - 12:47

[Romus]

wget -r -k -l 7 -p -E -nc -erobots=off --user-agent="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/5З7.З6 (KHTML, like Gecko) Chrome/60.0.З112.11З Safari/5З7.36" --no-check-certificate  http://forum.eve-ru.com/index.php

Это будет только HTML версия, но ты просил как спарсить, а не мигрировать на новый движок.

Весить будет очень много и долго.

Сообщение отредактировал Romus: 05 June 2024 - 12:05

[AVE]

Вложенности 7 мало, многостраничные топики (где по 100-150 страничек) не целиком попадут, но тут надо экспериментировать просто, без этого - только реально парсер писать который будет понимать где ссылка на след. страницу а где что-то другое. В целом, если "втупую" - можно что-то типа питоновского mechanize для сохранения страничек использовать, он умеет браузер эмулировать и научить его понимать где ссылки (например, через XPath) - вполне можно.

[Astaroth]

Romus, 05 Июнь 2024 - 09:03, написал(а):

 

wget -r -k -l 7 -p -E -nc -erobots=off --user-agent="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/5З7.З6 (KHTML, like Gecko) Chrome/60.0.З112.11З Safari/5З7.36" --no-check-certificate  http://forum.eve-ru.com/index.php

Это будет только HTML версия, но ты просил как спарсить, а не мигрировать на новый движок.

Весить будет очень много и долго.

 

 

А почему много весить будет? Это же просто текст по сути.

И СКОЛЬКО оно примерно весить будет? Гигабайты или терабайты?

Я вот знаю что написать парсер для сайта на том же жс - это одна из самых простых задач для новичка. Но. Нигде не сказано, как парсить именно форумы, потому что большие форумы - это реликт прошлого, и когда в последние годы делались все эти гайдики на ютубчике, на форумах уже никто не сидел и следовательно парсить их сейчас нужды никто не видит, кроме самих форумчан-динозавров.

Мне бы чисто специфику работы с форумом понять.

Сообщение отредактировал Astaroth: 05 June 2024 - 12:49

[vmarkelov]

Берешь деньги, заносишь Апу, получаешь дамп форума.

Главное что б хватило денег. У Варсталекра в свое время - не хватило

[Tir]

Astaroth, 05 Июнь 2024 - 08:57, написал(а):

Есть у меня нехорошее предвиденье, что уютненький скоро склеит ласты, как старый синий форум. Прям совсем-совсем скоро.

Поэтому я хочу помочь комьюнити и спарсить здесь все снизу доверху. Я знаю, что парсер написать не очень сложно. Но есть проблема - я не знаю как. А тем кто знает -  наплевать на форум, поэтому никто не парсит.

Но если вы расскажете мне в целом как это работает и как это писать (в общих чертах), то я обещаю что довольно быстро напишу парсер и схороню уютненький со всей его великой историей для всех последующих поколений. Можно будет даже сделать это в таком формате, чтобы потом можно было на основе сохранённой архивной информации открыть уютненькое заново.

Помогите парсер напейсать, а? Я обещаю парсить так, чтобы форум от меня не тормозил.

P.S. А заодно скажите, сколько оно будет весить.

> знаю, что парсер написать не очень сложно
> не знаю как


Ты бы определился для начала, что ты на выходе хочешь получить. Единомоментный "слепок" с форума? Реплику, которую можно будет обновлять? Как быть с картинками? Ну и т.д. Пока что у тебя даже ТЗ не получается.

Самый простой с технической точки зрения способ тебе тут уже подсказали: договориться с Апом, штоп доступ к базе дал на чтение, и настроить репликацию базы без всякого парсинга.

Сообщение отредактировал Tir: 05 June 2024 - 14:39

[Astaroth]

vmarkelov, 05 Июнь 2024 - 11:16, написал(а):

Берешь деньги, заносишь Апу, получаешь дамп форума.

Главное что б хватило денег. У Варсталекра в свое время - не хватило

Это полный идиотизм, а не способ сохранить историю.

P.S. Я уже нашел способ все засейвить. 

[Romus]

Astaroth, 05 Июнь 2024 - 13:11, написал(а):

Это полный идиотизм, а не способ сохранить историю.


P.S. Я уже нашел способ все засейвить.

А мой логин сможешь засейвить?

[Astaroth]

На кой мне твой логин?

Сообщение отредактировал Astaroth: 05 June 2024 - 16:24

[Romus]

Astaroth, 05 Июнь 2024 - 13:24, написал(а):

На кой мне твой логин?

А какой желать дубль если пользователи не смогут зайти?

[Tir]

А, сопсна, нахрена что-то клонировать, если можно предложить апу подхватить знамя, буде он решит его выронить? Если, конечно, цель - спасти евач, а не запилить свой, с собой любимым в роли главного алиена

Сообщение отредактировал Tir: 05 June 2024 - 16:52

[vmarkelov]

Astaroth, 05 Июнь 2024 - 13:11, написал(а):

P.S. Я уже нашел способ все засейвить.

И не положить при этом форум массой запросов?

[L'ecran]

ваш форум и без запросов ложится регулярно

[vmarkelov]

L'ecran, 05 Июнь 2024 - 13:59, написал(а):

ваш форум и без запросов ложится регулярно

О том и речь

[Captain SmartByte]

Astaroth, 05 Июнь 2024 - 09:43, написал(а):

Мне бы чисто специфику работы с форумом понять.

Да какая разница - форумы, сайты... спарсить ты сможешь только сформированные HTML-страницы, которые как полноценный форум работать не будут, потому что базы данных нет.

 

И да, всё уже давно написано за тебя миллион раз, гугл приведёт на какой-нибудь гитхаб, где будет и код и разъяснения.

 

Tir, 05 Июнь 2024 - 11:38, написал(а):

Самый простой с технической точки зрения способ тебе тут уже подсказали: договориться с Апом, штоп доступ к базе дал на чтение, и настроить репликацию базы без всякого парсинга.

Лол, человек не может в простейшее ТЗ, а ты предлагаешь доступ к БД дать.

 

Спасибо, поржал с этой темы, хватит на сегодня интернета.

[Lord Sirex]

https://ru.wikipedia...ki/Teleport_Pro

PHP-сорсы ты конечно не получишь, но чистый хтмл (можно и с картинками) всего форума будет.

Когда-то много юзал эту прогу.

Сообщение отредактировал Lord Sirex: 06 June 2024 - 13:35

[WarStalkeR]

vmarkelov, 05 Июнь 2024 - 11:16, написал(а):

Берешь деньги, заносишь Апу, получаешь дамп форума.

Главное что б хватило денег. У Варсталекра в свое время - не хватило

Эээ! Я не дамп форума хотел. А весь форум с доменом и вообще все, что есть. Хотел в свое время. Пока с нами был Крекер (земля ему пухом).

[XenonCorp]

а нужен ли ВЕСЬ форум? тут какие-то гайды уникальные где-то зарыты? кмк архива с начала 23 или даже 24 года, будет вполне достаточно. главное чтобы народ был, а говна контента мы навалить сумеем

[AVE]

Ты в еву для этого вернешься и гайдики начнешь писать? Ну или может еще кто-то из олдов это совершит? Нет, смирись, этот форум - это такой дом престарелых, где доживают свой век те, кто когда-то играли в одну и ту же игру, в связи с чем на этом форуме и собрались, да так и остались, то ли из ностальгии, то ли потому что больше некуда деться.

[XenonCorp]

AVE, 15 Июнь 2024 - 16:33, написал(а):

Ты в еву для этого вернешься и гайдики начнешь писать? Ну или может еще кто-то из олдов это совершит? Нет, смирись, этот форум - это такой дом престарелых, где доживают свой век те, кто когда-то играли в одну и ту же игру, в связи с чем на этом форуме и собрались, да так и остались, то ли из ностальгии, то ли потому что больше некуда деться.

 

тогда главное бар спасти, остальное в топку