重金悬赏免费的文本查重软件啊~！

zhengzwq

关注一下 看看

feimaxingkong

学习学习

jpw1680

这些要求，懂点编程的，设计几天，一般都会搞出来一个批量处理的小软件出来，楼主可以琢磨一下自己开发一下符合要求的小软件，要求看似不是很难的，就是比对算法

wpiaoxin

纯属撸过哈哈哈

mjygvdwa

其实针对lz的问题，可以使用一个粗暴算法：
读取所有文件，为每个文件做一个表，记录着该文本内每个字分别出现多少次，共有多少字。
然后两两比较所有表，大约相等的话基本可以认为文本相同。

近百个文本，就算每个都是五六万字，最多也就五六百万字，大约10MB的文本统计，瞬间就能完成。
整个程序最多几秒钟就能得到结果。

plko3451

这个不错的，百度就有

thebestlwt

plko3451 发表于 2016-2-27 08:31
这个不错的，百度就有

额，楼上好多人都推荐这个了。。。然而没什么卵用的。。这软件只是在比对文件的哈希值，不会读取文本的。。这样的算法对图片音频的查重很方便，然而对文字基本无效啊。。。好多文本就算是内容一样样的，哈希值也不一样，这软件根本查不出来，而且我发现还有些文本有这样的情况：内容基本近似，而主人公名称之类的有区别。。这些情况这软件根本查不出来。。除非两个TXT文件是完全复制粘贴的，然而对于文本文档来说，这情况基本不存在啊！

perter

楼主要求的也太高了吧，现在的专业软件都做不到，只能人工，举个例子，一条白色的小狗和一条白色的幼龄京巴表达的意思是近似相等的(当然前者范围大一些)，但是软件会认为二者完全不同。。。。。

mjygvdwa

无聊实现了我之前说的那个算法，虽然思想不严谨，但是只要不刻意制造文本去误导程序，识别率还马马虎虎，关键是速度确实相当快。
程序只是单线程，CPU i5 480M，415个文本，总计166MB，应该有一亿的字符，耗时18秒。
可能是文本都缓存在内存中了，如果是硬盘载入得慢一些。

容差值在20%或者以上时，会有不少误报，误报总比漏掉好。
你就那么百来个文本，最终结果未必有几条，在程序的结果基础上再一一手动对比都可以接受了。

命令行界面，所以使用方法请使用参数 /?

程序如果报缺少dll，说明得装vc++ 2015 redistributable x64
不支持xp以及以下系统。
代码没有签名，所以几乎可以肯定不被某些杀软信任，所以玩不玩请自便。
同时提供源码，大可自行编译。

a.zip (56.2 KB, 下载次数: 4)

2016-2-28 00:57 上传

下载次数: 4
下载积分: PB币 -1
请勿使用多线程下载工具下载论坛附件！

xudongdong9516

翡冷翠 发表于 2016-2-26 10:56
Beyond Compare 是一款专业级的文件夹和文件对比工具，可以很方便的对比出两个文件夹或者文件的不同之处。并 ...

谢谢你的分享

leoleo2100

我也在找查重文件，lz的要求貌似现在没有满足。您要的重复定义太严格。拿字符串来说，要求“ABC”和“   ABC”或“ABC    ”是重复，貌似现在查重用哈希算法算比较精准了。
就您问题，近百个txt其实手工看一下基本可以解决问题。
1，先拷贝到同一个文件夹，按文件大排序。然后把大小相近的打开看一眼，若是一样的小说，
2，再用beyond这类进行文本字符对比的，就可以看到2个文件在哪些内容不一样了。
关键是您的文件不到100个，量小。

jesspink

找到了吗。我也有类似的需求额