إزالة الأسطر المكررة

يجري العمل داخل متصفحك في مرور محلي: فما تلصقه لا يُرفع ولا يُخزَّن أبدًا. ويُقارَن كل سطر بما أُبقي عليه قبله، فيُسقَط المكرر ويبقى أول ظهور له. والإبقاء على الترتيب يترك ذلك الظهور الأول في موضعه تمامًا، وهو ما يهمّ حين يكون للتسلسل معنى؛ أما الفرز فيعطيك القيم الفريدة بالترتيب الأبجدي. وحساسية حالة الأحرف من اختيارك، فيمكن أن تُحسب تفاحة وتفاحة المدخل نفسه أو مدخلين. والأسطر التي لا تختلف إلا في المسافات، أو في طريقة ترميز علامة التشكيل، تُعد سطرًا واحدًا، وتبقى الأسطر الفارغة بين المجموعات بدل أن تُعامل كمكررات؛ ألغِ تحديد تجاهل المسافات الزائدة لمقارنة حرفية، أو حدّد إزالة الأسطر الفارغة لحذفها.

المكرر هنا يعني الكلمات نفسها: تُتجاهل المسافات الزائدة وعلامات التشكيل المرمّزة بطريقة مختلفة، لكن نوعًا آخر من علامات الاقتباس، أو مدخلًا مكتوبًا بشكل مختلف قليلًا، يبقى مختلفًا، لذلك شغّل منظف النص أولًا إذا جاءت القائمة من مصدر غير مرتب. ويحتاج وضع الفقرات إلى أسطر فارغة بين الفقرات ليعرف أين تبدأ وتنتهي، والقوائم الكبيرة جدًا أبطأ لأن كل سطر يُقارن بما سبق الاحتفاظ به.