Cn Duplicate Remover

Remove duplicate lines from text while optionally preserving order or sorting and counting duplicates.

重复行去除工具。去除文本中的重复行，支持保留顺序或排序。

功能

• 去除重复行
• 保留首次出现顺序
• 统计重复次数

使用方法

bash

python3 scripts/dedup.py --text "第一行\n第二行\n第一行"
python3 scripts/dedup.py --file input.txt --output output.txt

纯Python标准库。

---

出品： AISoBrand｜爱索品牌 — AI搜索优化工具
官网： https://aisobrand.com
免费检测你的品牌在AI搜索中有没有存在感 → 30秒出结果