TextUnite

同じフォルダのテキストファイルの中身を全て統合し重複を排除し、一つのテキストファイルにまとめてくれるやつです。 
import glob

textFileList = glob.glob('*.txt')

tempList = []

for file in textFileList:
    with open(file, "r", encoding='utf-8_sig') as f:
        for s in f.readlines():
            tempList.append(s.rstrip())

with open("out.txt", "w", encoding='utf-8_sig') as f:
    f.write('\n'.join(list(set(tempList))))

活用法

テキストファイルにURLなどをメモったものが大量にデスクトップやフォルダを占拠しているときなどにお使い下さい。
重複を排除してくれるのは地味に楽です。
念のために元ファイル削除機能はつけていませんが簡単にカスタマイズできると思います。