Python检查给定一个下有无文件重复，若存在重复则删除

给定一个文件夹，用Python检查给定文件夹中是否有重复文件，如果有重复则删除

涉及的主要知识点有：

阶梯分析

该程序实现的逻辑可以体现为：

遍历获取给定文件夹下的所有文件，然后通过嵌套循环逐对比较文件是否相同，如果相同则删除后者。

实现问题的关键就变成了

如何判断两个文件是否相同？

这里我们可以使用filecmp模块查看官方介绍文档：

所以可以这样使用

# 假设x和y两个文件是相同的
print(filecmp.cmp(x, y))
# True

有了这些易语言文件夹是否存在，我们就可以开始编写代码了！

Python 实现

导入所需库并设置目标文件夹路径

import os
import glob
import filecmp
dir_path = r'C:\\xxxx'

然后遍历得到所有文件的绝对路径易语言文件夹是否存在，我们可以使用glob模块的通配符结合递归参数来完成，框架如下：

for file in glob.glob(path + '/**/*', recursive=True):
  pass

由于遍历获取每个文件或文件夹后，需要判断是否为文件。如果是文件，则绝对路径可能存储在列表中。这里还需要做两件事：

具体代码如下

file_lst = []
for i in glob.glob(dir_path + '/**/*', recursive=True):
  if os.path.isfile(i):
    file_lst.append(i)

上一步我们获取了目标文件夹下的所有文件路径，然后可以嵌套遍历这个路径列表，其中filecmp.cmp进行文件判断，os.remove进行文件删除。

for x in file_lst:
  for y in file_lst:
    if x != y:
      if filecmp.cmp(x, y):
        os.remove(y)

这里的代码已经实现了大体的逻辑，但是有一个细节需要考虑：有可能一直循环直到文件被前面的判断删除，导致os.remove(file)报错，因为文件不存在

因此，可以使用 os.path.exists 来判断文件是否存在，如下：

for x in file_lst:
  for y in file_lst:
    if x != y and os.path.exists(x) and os.path.exists(y):
      if filecmp.cmp(x, y):
        os.remove(y)

这样一个简单的文件去重小程序就完成了。完整代码如下：

import os
import glob
import filecmp
dir_path = r'C:\xxxx'
file_lst = []
for i in glob.glob(dir_path + '/**/*', recursive=True):
  if os.path.isfile(i):
    file_lst.append(i)
for x in file_lst:
  for y in file_lst:
    if x != y and os.path.exists(x) and os.path.exists(y):
      if filecmp.cmp(x, y):
        os.remove(y)

写在最后

通过本文的Python自动化脚本制作流程，我们可以再次体验Python办公自动化的强大