29295 ответов в теме

[Ripple]

В один поток и вправду быстрей, 266.3122 f/s

 

Быстрее, эту фишку на нодах кластеров юзали, когда на каждом диске в корзине делали темп папку и каждому потоку давали свою, прирост был. Но это давно было, может что поменялось.

[Atrosha]

Конечно быстрей, а то в многопотоке ты в одну дырку 32 члена суешь.

На HDD кстати будет еще медленнее из-за разлета головок.

[Karmael]

докладываю: на самом деле, сильный прирост был из за другова, я перестал убивать ссдшку и стал ксперементировать на блинах. так вот, это рейдец. 

в однопоточном ксперименте на ссд прирост тоже есть, но не такой чумачечий, где то +30 ф\с

[Podli]

У нас был случай, когда всё выжрали пустые файлы.

Какая-то там прилажуха сошла с ума и наклепала порядка нескольких кк пустых лог файлов.

Обнаружилось сие только когда место ушло в 0. Никсы в ентом плане подстраиваются, и при необходимости делают больше/меньше места под иноды на лету.

Поциент жив, фсё это пусть и с дикими тормозами утилит удалось продиагностировать и пофиксить.

В ентом плане есть более жестокий прикол над линухом. Скриптом создаем папку, лезем в папку, создаем файл, создаем унутрях еще одну папку и зацикливаем. Чуть менее чем все тулзы при этом ломаются из за адовой глубины директорий. Чинится ток спусканием скриптом по относительным путям в самый низ с последующим подъемом и чисткой всего по тем же относительным путям. Если приправить всё это дело запихиванием всяческих символов табуляции, новых строк и прочих веселух в названия файлов и папок - будет совсем жестокая шутка над одмином.

[Atrosha]

На NVMe будет прирост на многопотоке, он параллельный, а твои блины и SSD - последовательные SATA.

Нехай Спит у себя на егойном запустит энтот скрипт. Заценим прирост.

[Gwin]

не берите дешевый ссд. мат

 

 

Просто видосы со шпили-вили надо хранить на отдельном нормальном винте.

И регулярно бэкапить! 

[Ali On]

Результаты у меня забавные.

1. unzip, который сейчас вот это всё распаковывает, всё ещё крутится, сожрав 25% cpu

2. Память выжрана тоже,

3. активность хдд небольшая.

4. на сейчас распаковано 1 393 666 файлов, и продолжают со скоростью около 3х в секунду.

 

Есть подозрение, что проблема в unzip, который с гитом шёл.

Думаю остановить эту радость.

[Karmael]

Нет терпи

Тебе еще запаковывать

[Ali On]

Поздно. Надо распаковывать чем-то другим. Например питоном тем же.

ls надолго задумывается, но с ключами -U -1 (не сортровать и в одну колонку) бодро выдаёт результат на все 1,4кк строк

 

dir мелкомягких без всяких ключей спокойно выплюнул весь список в консоль не морщась, даже со статкой ))

...

02-Oct-18  19:06                19 file_410084.wow

...

 

Кстати, про анзип ошибся, возможно. Подгружает именно ввод/вывод на хард. Размер папки считал натужненько, пока скрипт не вырубил, сейчас мгновенно (эксплорер).

Size:                25.5 MB (26,774,130 bytes)

Size on disk:    5.31 GB (5,710,897,152 bytes)

Contains:        1,394,263 Files, 0 Folders

 

Сам эксплорер бодро влетел в папку, показал первую страниц и начал собирать стату по файлам. Легко меняет режим отображения (листы там, детальный итд), за пару минут сожрал сколько смог (491,777 фалов, если нажать "выделить всё") и остановился. Больше показывать не очень хочет.

Редактировать - без вопросов. Удалять тоже. Время от времени пытается перечитать.

Сообщение отредактировал Ali On: 03 October 2018 - 12:14

[Karmael]

Ты как там, братишка, по моим подсчетам 100к файлов должно было уже дотерпеть

[Atrosha]

Больше показывать не очень хочет.

оперативы не хватает для списка файлов.

[Karmael]

Можно диагностировать:
Некрософт так и не научился работать с собственной фс, но перестала падать.
Прогресс как ни крути.

[Ali On]

Ты как там, братишка, по моим подсчетам 100к файлов должно было уже дотерпеть

Отвлёкся на работу. Я же говорю, содержимое он сразу отображает, двигаться секунд через 10 начинает и в фоне продолжает грузить сожержимое папки. За 30 секунд где-то всосал 491,777к файлов, потом я его прерывал.

Зашёл заново, дал ему просраться и нажал "выделить всё". И знаешь, он выделил всё, все 1,4кк файлов. Паровозик, который смог, в общем.

 

Сейчас запустил архивацию этого дерьма скриптом, где-то 500к уже сожрал, скорость скажу позже, когда допакует (на глаз, где-то 1к файлов в секунду).

Потом удалю папку и распакую скриптом. Гляну, что выйдет

Сообщение отредактировал Ali On: 03 October 2018 - 12:59

[Atrosha]

Надо бы посмотреть объем виртуальной памяти при всем этом (я про Эксплорер).

[dak1976gv]

вы это. как закончите - выкатите итоговое резюме для широкой обсчественности(которой в общем то лень вчитываться в весь этот чатик последних страниц)... кармарэйд или не_кармарейд?

[vmarkelov]

491,777к

Блин, ты мне должен новый мозг. Что мешало написать просто 491777 или 492к?

[Atrosha]

Я счас посчитал на трезвую голову. Если Эксплорер выделяет строки динамически, то имя+расширение должно быть выйти чутка больше 10 байт: 8+1+3+1 = пятнарик. Т.е. если Эксплорер выделяет память только для имен (это не так), то зожрет 1,5кк*15 = 22,5кк. Где-то около 20 МБ.

[Ali On]

Загоняюсь чё-то, да, по числам.Ещё раз повторю, паровозик смог затащить и посчитать все файлики в папочке. Зря, конечно, но его заставили ))

На данный момент упаковано 1.2кк реальных фалов. Генерить быстрее, конечно. Скорость не падает, кстати.

dak1976gv  Винда тащит пока что. Падать упорно не хочет.

Надо подобный "экскремент" с опенсорсом провести. Надеюсь, кто нибудь сделает.

 

зы мне как бы насрать кто там упадёт/не упадёт. Сижу я под виндой, пишу на жабке, деплоюсь куда попало, но, в основном, линупсы всякие. Так что толерантность к операционкам высокая.

 

update:

C:\ProgramData\Anaconda3\python.exe E:/oops/ads.py
File number      1394262, name file_999999.wow
Done: 1394262 files in 2753.564329147339 seconds. Speed: 506.34807592519303

Process finished with exit code 0

 

update 2: решил удалить через del в cmd. Подождал минут 5, выключил, сожрало 300к. Решил эксплорером - тот сделал списочек на оставшиеся 1.1кк, переспросил, а уверен ли я, что хочу все эти 1.1 удалить и начал трудиться. Вышел на стабильные 700 файлов в секунду и работает. Сожрал одно ядро на i5

Сообщение отредактировал Ali On: 03 October 2018 - 13:41