sh скрипт для поиска и удаления одинаковых файлов по md5. (script for delete duplicates files by md5 hash).

Скрипт для поиска и удаления одинаковых файлов по md5

#!/bin/sh

#TODO - проверить наличие необходимых утилит
#md5
#find
#getopts
#grep

get_yes_no() {
        while [ true ]; do
                echo -n "$1 (Y/N) ? "
                read a
                if [ $? != 0 ]; then
                        a='No'
                        return
                fi
                case $a in
                        [Yy]) a='Yes'; return ;;
                        [Nn]) a='No'; return ;;
                        *) ;;
                esac
        done
}

build_hash_db() {
# Проверяем существует ли указанный файл БД, если да, то спрашиваем что делать - удалить и создать новый или выйти.
        echo "Запущено построение базы хешей каталога: "$1
        if [ -f "$db_FILE" ]; then
                get_yes_no 'Файл БД уже существует, удалить и создать новый?'
                [ $a = 'No' ] && echo 'Аварийное завершение.' && exit 1
                [ $a = 'Yes' ] && echo 'Файл БД удален и будет создан заново.' && rm -f "$db_FILE"
        fi

        find "$1" -type f -print | while read file; do
                echo "`md5 -q "$file"`  $file" >> $db_FILE
        done
}

find_and_delete_duplicates_by_hash_from_db(){
        # Если база не создана, то предлагаем создать её.
        echo "Запущен поиск дубликатов в каталоге $1 по базе хешей $db_FILE"
        [ ! -f $db_FILE ] && get_yes_no 'Файл БД не существует, создать новый?'
        [ "$a" = 'No' ] && echo 'Аварийное завершение.' && exit 1
        if [ "$a" = 'Yes' ]; then
                echo 'Создание файла БД: '$db_FILE
                while [ true ]; do
                        echo -n 'Введите путь до каталога по которому будет создаваться файл БД: '
                        read b
                        [ $? != 0 ] && return
                        if [ -d $b ]; then
                                build_hash_db "$b"
                                return
                        else
                                echo 'Вы ввели неверный путь. Повторите попытку.'
                        fi
                done
        fi

        # Ищем дубликаты в каталоге $1 по БД хешей $db_FILE.
        echo '#--------------------------- '`date "+%d.%m.%Y %H:%M:%S"` > ${db_FILE}.log
        find "$1" -type f -print | while read file; do
                hash=`md5 -q "$file"`
                if grep -q $hash $db_FILE ; then
                        echo "$file"' is a duplicate and has been removed.'
                        echo $hash'     '$file >> "${db_FILE}.log"
                        rm -f "$file"
                fi
        done
}

usage() {
        [ -n "$1" ] && echo "$1"
        cat << _EOF
        -c Режим построения базы хешей.
        -d Режим поиска и удаления повторяющихся файлов на основе построенной ранее базы хешей.
        -f Имя файла БД с хешами, если не будет указан, то будет использоваться значение по умолчанию - file.csv
        -h | --help Справка.

        Пример использования:
        1. Создать базу хешей каталога 1:
                ./$0 -c -f my_file.csv /path/to/folder
        2. Найти и удалить дубликаты по созданной базе хешей в каталоге 2:
                ./$0 -d -f my_file.csv /path/to/folder

_EOF
        exit 2
}

# Проверяем на пустые аргументы.
[ $# -lt 1 ] && usage

c_FLG=0; d_FLG=0;
while getopts hcdf: a; do
        case "$a" in
                c) [ $d_FLG = 1 ] && usage 'ОШИБКА! Нельзя использовать одновременно опции -c и -d.'; c_FLG=1 ;;
                d) [ $c_FLG = 1 ] && usage 'ОШИБКА! Нельзя использовать одновременно опции -c и -d.'; d_FLG=1 ;;
                f) db_FILE="$OPTARG" ;;
                ?|h) usage ;;
        esac
done

# Сдвигаем ряд аргументов на количество уже разобранных аргументов и оставляем последний.
shift $(($OPTIND-1)) #shift `expr  $OPTIND - 1`

# Проверка аргументов и важных переменных.
[ -z "$1" ] && usage 'ОШИБКА! Не задан каталог для обработки.'
[ -z "$db_FILE" ] && usage 'ОШИБКА! Не задана опция -f.'
[ $c_FLG = 0 -a $d_FLG = 0 ] && usage 'ОШИБКА! Не указана ни одна из опций -c или -d.'

# Запуск фукций в зависимости от установленных переменных.
[ "$c_FLG" = 1 ] && build_hash_db "$1"
[ "$d_FLG" = 1 ] && find_and_delete_duplicates_by_hash_from_db "$1"