رفتن به محتوای اصلی
نوتوا

فایل‌های تکراری را چطور پیدا کنیم؟ مقایسه نام، اندازه و هش پیش از حذف

آموزش پیدا کردن فایل تکراری با نام، اندازه و SHA-256 در PowerShell، macOS و Linux؛ تفاوت نسخه مشابه و روند Quarantine پیش از حذف.

تصویر مفهومی فایل‌های تکراری را چطور پیدا کنیم؟ مقایسه نام، اندازه و هش پیش از حذف
نمای مفهومی مسیر اصلی فایل‌های تکراری را چطور پیدا کنیم؛ جزئیات اجرایی در متن و چک‌لیست مقاله آمده است.

فایل‌های تکراری را بدون حذف اشتباه پیدا کنید؛ ابتدا اندازه، سپس SHA-256، بعد بررسی Context و انتقال امن به Quarantine.

برای پیدا کردن فایل‌های تکراری، نام فایل معیار قابل اعتمادی نیست؛ دو نام متفاوت می‌توانند محتوای یکسان و دو فایل هم‌نام می‌توانند محتوای متفاوت داشته باشند. روش کم‌ریسک این است: ابتدا اندازه برای ساخت کاندید، سپس Hash برای مقایسه محتوا، و در پایان تصمیم انسانی و Quarantine پیش از حذف.

فایل‌های تکراری را چطور پیدا کنیم؟

سه مسئله متفاوت وجود دارد:

نوع مثال روش تشخیص
Exact duplicate بایت‌به‌بایت یکسان Size + SHA-256
نسخه نزدیک DOCX با یک اصلاح Compare/Version history
تصویر مشابه Resize/Crop/Filter Perceptual hash + بازبینی

Hash رمزنگاری معمولی فقط Exact duplicate را پیدا می‌کند. دو عکس از یک صحنه با Resize، Hash کاملاً متفاوت دارند.

چرا اول اندازه و بعد Hash؟

محاسبه Hash باید همه بایت‌های فایل را بخواند و روی آرشیو بزرگ زمان و I/O مصرف می‌کند. ابتدا فایل‌ها را براساس Size گروه‌بندی کنید؛ گروه‌های تک‌عضوی نمی‌توانند Exact duplicate باشند. فقط گروه‌های هم‌اندازه را Hash بگیرید.

نام، تاریخ و Extension برای تصمیم نگهداری مفیدند، اما اثبات برابری محتوا نیستند.

نمودار مفهومی ورودی، اجرا، کنترل و خروجی برای فایل‌های تکراری را چطور پیدا کنیم
ورودی را کوچک و قابل کنترل نگه دارید، روش را ثبت کنید و خروجی را با شاهد مستقل بسنجید.

گرفتن Hash در Windows PowerShell

Microsoft مستند کرده Get-FileHash به‌طور پیش‌فرض SHA-256 استفاده می‌کند:

Get-FileHash -LiteralPath 'D:\Archive\report.pdf' -Algorithm SHA256

مقایسه دو فایل:

Get-FileHash -LiteralPath 'D:\Archive\a.pdf','D:\Archive\b.pdf' -Algorithm SHA256

برای فهرست کاندیدهای تکراری یک پوشه، دستور زیر فقط می‌خواند و چیزی حذف نمی‌کند:

Get-ChildItem -LiteralPath 'D:\Archive' -File -Recurse |
  Group-Object Length |
  Where-Object Count -gt 1 |
  ForEach-Object { $_.Group | Get-FileHash -Algorithm SHA256 } |
  Group-Object Hash |
  Where-Object Count -gt 1 |
  Select-Object Count, Name, Group

مسیر نمونه را با مسیر محدود و بررسی‌شده خود جایگزین کنید. روی Root دیسک یا پوشه سیستمی اجرا نکنید.

macOS و Linux

بسته به سیستم:

sha256sum -- file-a.pdf file-b.pdf

در macOS معمولاً:

shasum -a 256 -- file-a.pdf file-b.pdf

خروجی یکسان برای SHA-256 همراه اندازه یکسان، کاندید بسیار قوی Exact duplicate است. در پرونده بسیار حساس یا ورودی خصمانه، Byte-by-byte compare نیز انجام دهید.

الگوریتم مناسب

برای کار جدید SHA-256 انتخاب مناسبی است. MD5 و SHA-1 برای امنیت در برابر ساخت Collision مناسب نیستند. اگر هدف فقط Dedup آرشیو خودتان است، حتی Hash قوی هم باید با مسیر، اندازه و تصمیم نگهداری همراه باشد.

Hash هویت یا اصالت منبع را ثابت نمی‌کند؛ فقط Fingerprint محتواست. Hash یکسان با مقدار منتشرشده توسط منبع معتبر می‌تواند Integrity Download را بررسی کند، اما Hashی که خودتان بعد از دریافت ساخته‌اید نمی‌گوید فایل از چه کسی آمده است.

ساخت گزارش تصمیم به‌جای حذف فوری

Group ID | SHA-256 | Size | Paths | Keep | Reason | Reviewer
G-001 | [هش کامل ثبت‌شده] | 842 KB | A/B/C | A | source + metadata | Sara

برای انتخاب نسخه نگهداری این موارد را ببینید:

  • پوشه مرجع و Owner؛
  • Metadata و Tag؛
  • Permission و Share link؛
  • Version history؛
  • نام و ارتباط با پروژه؛
  • Backup و Retention policy؛
  • Hard link یا فایل مورد استفاده برنامه.

دو فایل بایت‌یکسان ممکن است Context متفاوت داشته باشند. حذف Copy از پوشه یک پروژه می‌تواند Link یا فرایند انسانی را خراب کند، حتی اگر نسخه دیگری باقی باشد.

Quarantine امن

  1. گزارش کاندید بسازید؛
  2. نسخه Keep را مشخص کنید؛
  3. Backup را کنترل کنید؛
  4. کپی‌های اضافه را به پوشه Quarantine محدود منتقل کنید؛
  5. چند روز/چرخه کاری صبر کنید؛
  6. Link، App و همکاران را بررسی کنید؛
  7. سپس طبق سیاست حذف کنید.

از اسکریپت حذف خودکار بدون Dry-run استفاده نکنید. در Windows، Symlink/Hardlink و فایل ابریِ بارگیری‌نشده را نیز قبل از Move بررسی کنید.

فایل‌های ابریِ بارگیری‌نشده

OneDrive/Drive/Desktop sync ممکن است فایل را فقط به‌صورت نسخه ابریِ بارگیری‌نشده نشان دهد. Hash گرفتن می‌تواند Download را تحریک یا خطا ایجاد کند. قبل از Scan:

  • وضعیت Sync را ببینید؛
  • Scope را به پوشه مشخص محدود کنید؛
  • Rate/Storage را کنترل کنید؛
  • فایل درحال تغییر را Hash نگیرید؛
  • Hash و Modified time را پس از Scan دوباره کنترل کنید.

اگر فایل میان خواندن تغییر کند، نتیجه قابل اتکا نیست.

نزدیک‌تکراری‌ها

برای تصویر، Perceptual hash می‌تواند Resize یا تغییر جزئی را گروه‌بندی کند، اما False positive دارد و نتیجه باید بصری تأیید شود. برای Word/PDF از مقایسه محتوای فایل‌ها استفاده کنید. برای نسخه‌ها نیز مدیریت نسخه اسناد بهتر از Dedup کور است.

پس از پاک‌سازی، قرارداد نام‌گذاری و گنجینه نوتوا از تکثیر دوباره جلوگیری می‌کنند.

خطاهای رایج

خطا پیامد اصلاح
حذف براساس نام نسخه متفاوت حذف می‌شود Hash + Compare
حذف براساس Size محتوای متفاوت حذف می‌شود SHA-256
اعتماد به Hash برای عکس مشابه مورد مشابه پیدا نمی‌شود Perceptual hash
نادیده‌گرفتن Metadata/Share Context از دست می‌رود گزارش تصمیم
Scan هنگام Sync Hash ناپایدار Snapshot/توقف تغییر
حذف فوری Recovery سخت Quarantine

چک‌لیست پاک‌سازی

  • Scope پوشه دقیق و محدود است.
  • فایل سیستمی و Backup خارج شده‌اند.
  • ابتدا Size و سپس SHA-256 محاسبه شده است.
  • مسیر و Metadata همه کاندیدها ثبت شده است.
  • نسخه نزدیک با Exact duplicate اشتباه نشده است.
  • فایل Cloud کامل و Sync پایدار است.
  • نسخه Keep و دلیل آن مشخص است.
  • Backup بازیابی‌پذیر کنترل شده است.
  • حذف ابتدا با Quarantine انجام می‌شود.
  • نتیجه پس از دوره انتظار بازبینی می‌شود.

پرسش های متداول

دو فایل هم‌نام حتماً تکراری‌اند؟

خیر؛ محتوا می‌تواند متفاوت باشد. Size و SHA-256 را مقایسه و برای نسخه نزدیک از ابزار Diff استفاده کنید.

Hash یکسان یعنی فایل را فوراً حذف کنیم؟

خیر؛ Context، مسیر، Permission، Share و Backup را بررسی و ابتدا Copy اضافه را به Quarantine منتقل کنید.

SHA-256 عکس‌های مشابه را پیدا می‌کند؟

فقط فایل بایت‌یکسان را. Resize، Crop یا ویرایش کوچک Hash را عوض می‌کند؛ برای مشابهت تصویر Perceptual hash و بازبینی لازم است.

جمع‌بندی

Exact duplicate را با Size و SHA-256 پیدا کنید، اما حذف را به Hash نسپارید. Context، Permission، Version و وابستگی مسیر را ببینید، گزارش تصمیم بسازید و موارد اضافه را ابتدا Quarantine کنید. فایل مشابه و نسخه ویرایش‌شده مسئله دیگری است و ابزار مقایسه متناسب می‌خواهد.