Remover Linhas Duplicadas

Remover linhas duplicadas online

Este exemplo demonstra a deduplicação do String Tools, com uma lista de exemplo contendo entradas repetidas. Cole qualquer bloco de texto e remova na hora as linhas duplicadas, mantendo só a primeira ocorrência de cada uma.

Como funciona

A ferramenta processa cada linha de cima para baixo, registrando quais linhas ela já viu. Quando aparece uma linha igual a uma anterior, exatamente igual, ela é removida da saída. O resultado preserva a ordem da primeira ocorrência.

Correspondência exata vs. aproximada (fuzzy)

Por padrão, a comparação é exata: o conteúdo inteiro da linha precisa ser igual caractere por caractere, incluindo espaços, pontuação e caixa. Não há fuzzy matching nem limite de similaridade. Duas linhas que diferem por um único espaço são consideradas diferentes.

Casos de uso práticos

Remover duplicatas é comum ao limpar dados exportados de bancos de dados, deduplicar arquivos de log, limpar listas de planilhas ou remover entradas repetidas da saída de comandos. Combina bem com a ferramenta de sort-lines quando você quer uma lista ordenada e única.

Preservando a ordem

A ferramenta mantém a ordem relativa das primeiras ocorrências. Se a sua entrada for:

cherry
apple
banana
apple
cherry

A saída é cherry, apple, banana nessa ordem, porque cherry aparece primeiro, apple em segundo e banana em terceiro.

Como usar

1. Cole o seu texto na área de entrada (um item por linha)
2. A saída deduplicada aparece na área de resultado
3. Copie as linhas únicas usando o botão de copiar

Perguntas comuns

Quantas linhas ele aguenta?

A ferramenta processa o texto no navegador sem limite rígido de linhas. A performance continua rápida até milhares de linhas. Entradas muito grandes (dezenas de milhares de linhas) podem causar breves travamentos em dispositivos mais lentos.

Posso contar quantas duplicatas foram removidas?

A ferramenta não mostra uma contagem de duplicatas. Para conferir, compare a contagem de linhas da entrada e da saída. A diferença é o número de linhas duplicadas removidas.

Funciona com linhas de CSV?

Sim. Cada linha é tratada como uma string completa, então linhas de CSV com conteúdo idêntico (mesmas colunas, mesmos valores, mesma formatação) são deduplicadas. Linhas que diferem em qualquer campo são mantidas como entradas separadas.