29295 ответов в теме

[vmarkelov]

Ggsn называется одна из таких железок

Собсвенно благодаря ей я знаю как ведет себя папка с 2кк файлами под экстами.

С вендой все смешней, ниразу не удалось их даже нагенерить.

В одной плоской папке? Хммм, значит мой софт писали не самые могучие рукожопы.

[Xiemargl]

Пока распаковывается, напихано по просьбам зрителей поменьше 600 байт

Спойлер

 

$ cat file_200101.wow
KHJB!@33_234_200101
 

ты что то не так делаешь

Прикрепленные изображения

• 

Сообщение отредактировал Xiemargl: 02 October 2018 - 20:05

[Ali On]

Про 600+ позже появилось же. Но я не вижу особой разницы для системы сейчас. Один хрен по 4к минимум на файл же. Но под винду не писал никогда, так что утверждать не буду.

[Xiemargl]

Про 600+ позже появилось же. Но я не вижу особой разницы для системы сейчас. Один хрен по 4к минимум на файл же. Но под винду не писал никогда, так что утверждать не буду.

нет хрен разный. см скрин выше

[Ali On]

нет хрен разный. см скрин выше

Короче, я уже 2 раза сгенерил это в зип из под винды. Один раз с нулевыми размерами, второй раз с условиями Кармы. Теперь это на рабочей машинке в офисе распаковывается. Возможно, завтра с утра я буду собирать горящие обломки моей рабочей станции там, а сейчас я пойду готовить еду здесь. В чём магия 600+ байт я не знаю.

Нашёл что-то https://www.skillset...utside-the-mft

https://superuser.co...-file-table-mft

 

 

Ты про эту магию?

Сообщение отредактировал Ali On: 02 October 2018 - 20:34

[Xiemargl]

Короче, я уже 2 раза сгенерил это в зип из под винды. Один раз с нулевыми размерами, второй раз с условиями Кармы. Теперь это на рабочей машинке в офисе распаковывается. Возможно, завтра с утра я буду собирать горящие обломки моей рабочей станции там, а сейчас я пойду готовить еду здесь. В чём магия 600+ байт я не знаю.

Нашёл что-то https://www.skillset...utside-the-mft

https://superuser.co...-file-table-mft

 

 

Ты про эту магию?

это не магия, просто наука.VS.звездоболов, слабо разбирающихся в ФС 

Сообщение отредактировал Xiemargl: 02 October 2018 - 20:39

[Ali On]

это не магия, просто наука.VS.звездоболов, слабо разбирающихся в ФС 

так в чём мысль-то, вырази уже всеобъемлюще. Меня о чём попросили, то и нагенерил, я не понимаю с чего ты тут воспарять решил.

[Xiemargl]

Не ушатают, 2кк ушатают, но не совсем. Сами файлы будут живы, но к ним нельзя будет обратится, всякие ls, cat, cp, mv, rm и прочие, будут падать в корку.

 

 

так в чём мысль-то, вырази уже всеобъемлюще. Меня о чём попросили, то и нагенерил, я не понимаю с чего ты тут воспарять решил.

считай это противовесом высказыванию выше

[Ali On]

ок. Сложные вы все. Мне же без разницы, просто эксперимент. Я и так и этак нагенерю, рабочую тачку в пределах часа всю восстановить можно всё равно. Но уже завтра.

У нас индусы так хранят эвенты в проекте, по тайм-слотам в файлы скидывают в дереве. Жутковато, конечно. Но не падает и жужжит, вроде.

 

upd:

1. быстрогугл говорит, что по у нтфс  ограничение на количество в плоской структуре в миллиардах

2. Дома нет свободного ссд под быстрое продолжение, сорян

Сообщение отредактировал Ali On: 02 October 2018 - 21:04

[r0n1]

если это прямо надо надо, а не просто так писькой померится, то можно для начала увеличить резерв для MFT и отключить ненужное - время последнего доступа к файлу (что собственно и для ext рекомендуется если предполагается интенсивная работа с файлами) и генерация  8.3 имен. и само собой не надо набивать под крышечку дисковую систему, зачем нам фрагментация.

Сообщение отредактировал r0n1: 02 October 2018 - 21:24

[Gadsky]

ок. Сложные вы все. Мне же без разницы, просто эксперимент. Я и так и этак нагенерю, рабочую тачку в пределах часа всю восстановить можно всё равно. Но уже завтра.

У нас индусы так хранят эвенты в проекте, по тайм-слотам в файлы скидывают в дереве. Жутковато, конечно. Но не падает и жужжит, вроде.

 

upd:

1. быстрогугл говорит, что по у нтфс  ограничение на количество в плоской структуре в миллиардах

2. Дома нет свободного ссд под быстрое продолжение, сорян

 

Есть куча тонкостей в реализации ФС. Какая-то великолепно справляется с огромными файлами, другая кучу мелких файлов может отлично обрабатывать (но ступорится если имена файлов рандомные, т.к. индюк зарядил О(N^2) в алгоритм), третья не может ничего такого, но журналируется как боженька.

 

Фишка в том, что использование ФС на предельных значениях - это примерно как участие в спецолимпиаде. Эксперименты такого рода - это типа кинуть лом на полном ходу в туалет поезда. Прикольно, но ничего кроме ЧСВ при этом не почешется.

[Ali On]

Но там же далеко до предельных, судя по быстрогуглу. И да, индусы смогли в хдфс и я эти эвенты хотя бы жрать от себя нормально могу.

[r0n1]

Но там же далеко до предельных, судя по быстрогуглу. И да, индусы смогли в хдфс и я эти эвенты хотя бы жрать от себя нормально могу.

предельные значения они теоретические, рисовали протокол и взяли с запасом (просто увеличили размеры служебных областей), в теории мы можем напихать туда 4лярда файлов плоско, в реальности - а как с этим будет работать прикладной софт? а сколько это места займет только под служебные данные? а как это потом простите все читать и сколько памяти займет такая вот таблица?

[Karmael]

но ntfs говно даже не по тому, что нативная FS не умеет работать с OS, 

а потому что ней нет WRITE_CLOSE а есть кретинский FILE_NOTIFY_CHANGE_LAST_WRITE

к слову, хранение мелких xml например в hdfs это же шутка была да?

у меня на эту тему прохладная есть. Значитца по проекту требовалось слобать том для хранения больших файлов в течении всего срока эксплуатации КА. Файлы сырец, только шта по приборам разбиты, а так радиопоток-радиопотоком. Размер блока 64М. 

А потом один кретин начал туда сваливать xmlки оценок качества, на каждый файл так эдак сотни по три, файлики килобайт по 10.

а еще через два дня кончилось место, а у меня матерные слова

[XenonCorp]

не берите дешевый ссд. мат

[Merazor]

Если ссд дешёвый и гордось так важна не проще ли его просто выкинуть? 

[Karmael]

а вот вопрос из зала, у меня мультипоточный скрипт генерит на венде файлы 

а) 8 символов имя

б) 3 символа разшерение

в) 12 символов содержимое

 

на не самый говеный ссд где то в 144 файла в секунду. внимание вопрос, ты там в один поток что генерил то вообще? дай как деду посмотреть твое творчество, скиллсеттер

Докладываю:

запустил на 100к файлов, записал пруфец, заливается. 

По сути там очевидно видно, что чем ближе к 100к, тем потеря производительности в 2\3. Ставить кспирименты на своей тачке с большим кол-вом, я пожалуй не буду, кому интересен скрипт может перепечатать его из видоса, это вам за немощность вашу клиническую.

 

как видоз дозреет, закину

[Ali On]

Я сгенерил зипчик на 1,5кк файлов питоном (там же было про 1.5кк в зип под виндой, вот я и сделал).

Поставил распаковываться и ушёл домой на 300к. Медленно, ага, там ссд не было.

[Karmael]

ты сразу в зип чтоль писал? лооол

а у меня эти сраные 100к файлов удаляются уже шестую минуту с ссд, штатным делитом из ихплорера