[OFF-Java] Script para remoção de duplicados

A listagem abaixo, um script que remove os registros duplicados de um arquivo texto. O arquivo deve estar ordenado.

#!/bin/bash

OLD_ELEMENT=""

while read line
do
    if [ "$OLD_ELEMENT" != "$line" ]; then
    echo $line
    OLD_ELEMENT=$line
    fi
done < $1

Copie o script, salve-o com a extensão "sh" e dê permissões de execução.

A sintaxe é:

./programa.sh arquivo.txt

Ele vai retornar a lista na tela. Para salvar em um arquivo faça o seguinte:

./programa.sh arquivo.txt > aquivo2.txt