Архивирование большого количества файлов по месяцам #604428

Есть каталог, в котором больше миллиона текстовых файлов, начиная с 2010 года. Проблема в том, что даже команда ls отрабатывает крайне долго. Надо соптимизировать запрос с архивированием и последующим удалением таким образом, чтобы это не длилось вечность. И мне в этом нужна ваша помощь. Мои размышления пока такие: использовать find, отбирая файлы по месяцам, а дальше тарить и, по идее, надо сразу удалять. Пытаюсь начать с малого, но и оно не работает, поправьте, пожалуйста. find /home/freya/myfiles -mtime +30 -exec tar -cf 03.2012.tar

WinRar.exe с командной строкой

у меня линукс. Про командную строку понятно, про ключи и синтаксис непонятно

apple time machine?

эээ под Линукс не подскажу... разве что LinRar )))

это только под мак?

hz

я думаю, что логика будет одна и та же, что под виндовой командной строкой, что под линуксовой. Может быть, find в моем случае неоправдан и все сможет сделать gzip, но не могу пока найти нужных ключей.

сам пробовал? у меня сложность с установкой дополнительного ПО на эту машину.

ja ne rabotaju s linux

а фотка где? man gzip man find и сколько же у вам inod свободных?

man и  info читала, оттуда и нашла опцию mtime. Я совсем нехорошо знаю линукс, поэтому не понимаю логику, вот я задаю поиск, он мне находит файлы по нужной дате, выдает их в поток, а как сказать тару, чтобы он тарил файлы по очереди, по мере отработки find, а не только первый найденный файл? я счас уперлась в это.

rsync используй.

или tar czf ~/backup.tgz -T filelist.txt создать список можно так find -name "*.txt" > filelist.txt

спасибо, про rsync почитаю. А с помощью конвейера нельзя как-то одной командой сделать? я прочитала в вики, что это ускорит обработку: Конвейеры Основная статья: Конвейер (UNIX) Конвейеры — это возможность нескольких программ работать совместно, когда выход одной программы непосредственно идет на вход другой без использования промежуточных временных файлов. Синтаксис: команда1 | команда2 Выполняет команду1 используя её поток вывода как поток ввода при выполнении команды2, что равносильно использованию двух перенаправлений и временного файла: команда1 > ВременныйФайл команда2 < ВременныйФайл rm ВременныйФайл

find -name "*.txt" | xargs tar cvf myfile.tar

Красиво. Спасибо.

a kak ty vosstanavlivat sobiraeshsja)?

восстанавливать что? затаренные файлы? что-то мне подсказывает, что когда будут помесячные архивы, работать с ними будет гораздо проще.

u tebja mln failov 0 month 1 000 000 1 month 1000 files were changed - keep 1000 files 2 month 2000 files were changed - keep 2000 files ... n month you want to recover the archive you have n-1 small files 1..n and 0 full file

dlja vosstanoblenija tebe nado posledovatelno vosstanovit vse files

может сначала рассовать по каталогам, соответствующим необходимым периодам? идея с удалениями в процессе мне что-то не нравится

dlja linux

в этом есть здравый смысл, спасибо. Просто заход в этот каталог повергает меня в уныние, а просмотр содержимого жуткую депрессию:)

у меня нет графики и почти нет  возможности ставить новое ПО. Точнее, ее нет, но можно выбить, но сложно. И вы не могли бы писать кириллицей?

tolko vecherom, u menja zdes ne russkoj raskladki( i ustanovit eje pochti nelzja. "Точнее, ее нет, но можно выбить, но сложно. " podumaj nad (20,21) i esli est testovaja machina poprobuj

Тут вообще вопрос откуда миллион с гаком файлов нарисовался.

eto ne vagno

мне тоже интересно что в них, но задача в другом)

naprimer vygruzki o prodagah po chekam on 100 magazinov... ne pravilno realizovannye)))

лучше так не делать помучай гугл по двум скриптам 1 разнести файлы по месяцам 2 архивировать по каталогам а то проблему целостности придется через опу решать

всем спасибо. В итоге разношу по каталогам по месяцам, потом тарю каждый каталог и архивирую. На создание каталога, правда, уходит ОЧЕНЬ много времени.

нет за что. и "а где вы раньше были".)

вот, пришла на "все готовенькое".

фотография с тебя.

да нафига вам фотография очередного бородатого эникея? за помощь спасибо.

изредка попадаются весьма небородатые)

ок, побреюсь - выложу;)

токо не забудь побриться-то)

Ольга, а где вы собрались бриться?

а может и html