29295 ответов в теме

[Karmael]

ты чего порвался то на ровном месте ?

слов знакомых чтоль не нашел?

[Karmael]

скучный ведоз в котором видно что мне скучно

 

торопыга может насладица шакалами

Сообщение отредактировал Karmael: 03 October 2018 - 0:35

[Ali On]

Ну а чего. Я там на закате дня отфильтровал только 1,5кк в зип под виндой.

Ну и упаковал прямо из питона в один архив.

Кстати, не уверен про пользу многопоточности. Один хрен там винт - самое узкое место будет. Ну и + время на треды перещёлкивать.В видео может и есть тест 1vsмного, но 20 минут - это 20 минут.

И да, не собираюсь я это эксплорером открывать, он не для таких бездуховных вещей рос!

Сообщение отредактировал Ali On: 03 October 2018 - 0:52

[Karmael]

объясняю в чем собсвенно проблема. 

множество вещей делается со списком файлов. например тот же самый "dir" по факту возвращает список файлов. У списка файлов есть тип данных, как правило не очень большой. И вот когда надо вернуть список который не помещается в этот тип, случается корка. 

при упаковке сразу в зип, как не трудно догаться, файловая система в процессе не участвует вовсе.

[Atrosha]

Ты хочешь сказать что из dir не просто последовательно выводятся имена файлов, а формируется список (возможно динамический), который потом и выводится на экран? Так нет же ничего проще забацать его как небольшой буфер и продолжать. Только это не проблема ФС, собсна.

Шота сложно у вас тут. Одни говорят одно, другие - другое. И пруфы отовсюду обратного.

Ну чувак же распаковал из зип-архива больше 300к.

[Karmael]

пока не известно, архиватор написал что он там что то распаковал, а что там в папке мы не знаем

[Ali On]

Я же говорю, что увидел, то и написал. После обсуждения, стало понятно, что хотел заказчик на самом деле, хех

А вообще, мне нравится засовывать в зип последовательно. Давно, кстати, с файликами живыми не работал. Если мне память не изменяет, можно же не весь список брать, а так же последовательно читать. Для питона сходу ищется https://www.python.o.../peps/pep-0471/ , который как итератор реализован, а не читает весь список.

В общем, проблемы имплементации для представления картинки человеку.

 

Ок, загляну туда эксплорером завтра.

 

А потом запакую обратно, для чистоты эксперимента.

Сообщение отредактировал Ali On: 03 October 2018 - 1:13

[Karmael]

а все dir, ls, rm, cp, mv, и прочие работают именно так, потому и падают. файнд не падает потому что списочек маленькый. но если искать все тоже упадет. 

причем честный только один zsh он собсвенно про это прямо и пишет, но у него совсем коротенький, и ломается уже на > 100к

у него то как раз этот буферок совсем не оч

[Ripple]

 

ps субд-шмубд. хдфс же есть.

 

Вот хдфс и 1.5кк мелких файлов это сейчас доставило=)

[Ali On]

тут пишут, что если не сортировать и в одну колонку, то лс живёт https://unix.stackex...number-of-files

 

Вот хдфс и 1.5кк мелких файлов это сейчас доставило=)

 

Это не ко мне, а к хинду разработчикам вопросы. Мне насрать, мне это мейнтейнить не надо.

[Ripple]

тут пишут, что если не сортировать и в одну колонку, то лс живёт https://unix.stackex...number-of-files

 

 

Это не ко мне, а к хинду разработчикам вопросы. Мне насрать, мне это мейнтейнить не надо.

 

Там просто на дефолтных настройках ближе к 2кк начинает неймнода на GC валиться или уходить в вечную чистку)

[Karmael]

тут пишут, что если не сортировать и в одну колонку, то лс живё

 

та find же есть, из него же мувать, удалять, копировать

[Atrosha]

а все dir, ls, rm, cp, mv, и прочие работают именно так, потому и падают. файнд не падает потому что списочек маленькый. но если искать все тоже упадет.

Ну, это же не проблема ФС, это проблема реализации команд ОС.

причем честный только один zsh он собсвенно про это прямо и пишет, но у него совсем коротенький, и ломается уже на > 100к


у него то как раз этот буферок совсем не оч

Как раз таки, если через буфер делать, то какой коротенький он бы ни был, шпилить будет как кролик, а так как это динамический список целиком всех файлов, то он и жрет память. Надо через буфер делать. Только это сложнее реализовать, если тебе нужно сделать ту же сортировку. Руки нужны, чтобы обрабатывать правильно. Он в памяти получается весь список обрабатывает, для того и загоняет его туда.

[Ali On]

Там просто на дефолтных настройках ближе к 2кк начинает неймнода на GC валиться или уходить в вечную чистку)

 

Да, почитал. И тут индусы зафакапили, что ожидаемо - щитоподелать.

А я думаю, чего же они так любят ноды по 64 гига покупать?

 

та find же есть, из него же мувать, удалять, копировать

В общем, решаемо всё. Но эксплорером зайду всё же.

А потом упакую в фоне. Пару строк к генератору архива добавить всего.

[Karmael]

Как раз таки, если через буфер делать, то какой коротенький он бы ни был, шпилить будет как кролик, а так как это динамический список целиком всех файлов, то он и жрет память. Надо через буфер делать. Только это сложнее реализовать, если тебе нужно сделать ту же сортировку. Руки нужны, чтобы обрабатывать правильно. Он в памяти получается весь список обрабатывает, для того и загоняет его туда.

 

тем не менее "шписочек длинненький, я ниможу"

 

В общем, решаемо всё. Но эксплорером зайду всё же.

А потом упакую в фоне. Пару строк к генератору архива добавить всего.

 

та ты небось и это не спортивно сделаешь, упаковав вместе с папкой

[Ali On]

Не, я же выше написал, что последовательно всю папку прочитаю и так же последовательно положу. Итератор есть готовый.
Могу попробовать без питона, но сам же говоришь, там find есть. Ну или как по ссылке, которую давал - без сортировка лс живёт у них.
Забавно будет,если зиповалка сама последовательно читает и вообще не парится из-за величины списка.

[Ripple]

Не, я же выше написал, что последовательно всю папку прочитаю и так же последовательно положу. Итератор есть готовый.
Могу попробовать без питона, но сам же говоришь, там find есть. Ну или как по ссылке, которую давал - без сортировка лс живёт у них.
Забавно будет,если зиповалка сама последовательно читает и вообще не парится из-за величины списка.

 

Явовские поточные заповалки так и работали когда юзал, им пофиг.

Думаю твоя тоже отлично справится)

[Atrosha]

Вот Эксплорером заходить - плохая идея. Он будет формировать список файлов для гуевины и сожрет всю память.

[Karmael]

В один поток и вправду быстрей, 266.3122 f/s