إزالة التشكيل من النص العربي: الطريقة الصحيحة ومتى تتجنبها

ما الذي يُعدّ تشكيلًا؟

التشكيل في الحاسوب ليس جزءًا من الحرف. كل حركة محرف مستقل يُحفظ بعد الحرف الذي تقع فوقه أو تحته، ويسمّيه Unicode «علامة مركّبة». كلمة «كَتَبَ» مثلًا ستة محارف: ثلاثة حروف وثلاث فتحات. لهذا لا يجد البحث الحرفي عن «كتب» كلمة «كَتَبَ» في كثير من البرامج، ولهذا يزيد عدد الحروف حين تعدّها.

يحذف خيار «إزالة التشكيل الشائع» في تنظيف النص تسعة محارف فقط:

العلامات الثماني الأولى متتالية في جدول Unicode تحت عنوان Tashkil from ISO/IEC 8859-6، أي التشكيل الموروث من الترميز العربي القديم. أما الألف الخنجرية فلها موضع منفصل، واسمها الرسمي ARABIC LETTER SUPERSCRIPT ALEF، لكن Unicode يوضح أنها علامة حركة رغم اسمها. ويذكر المعيار أن هذه العلامات تُحذف عادة في الكتابة اليومية، فالنص غير المشكول هو الشكل المعتاد في معظم الاستخدامات.

ما الذي يبقى بعد الحذف؟

الهدف أن تختفي الحركات وتبقى الحروف كما هي. لذلك تترك الأداة عمدًا ما يلي:

• الهمزة والمدّة: الحروف أ وإ وآ وؤ وئ حروف كاملة، فلا تتأثر. وبعض النصوص تحفظ الهمزة أو المدّة علامةً مركّبة منفصلة بعد الحرف: المدّة U+0653، والهمزة فوق الحرف U+0654، والهمزة تحته U+0655. تبقى هذه أيضًا، لأن حذفها يغيّر الإملاء: «سأل» تصبح «سال».
• علامات المصحف والضبط الخاص: علامات الوقف والحروف الصغيرة في رسم المصحف، والعلامات المركّبة الأقل شيوعًا من U+0656 إلى U+065F، لا يحذفها الخيار. لهذا يحمل اسم «التشكيل الشائع».
• التطويل: الكشيدة «ـ» ليست تشكيلًا، ولها خيار مستقل اسمه «إزالة التطويل».
• أشكال الحروف: لا تتحول أ إلى ا، ولا ى إلى ي، ولا ة إلى ه. هذا توحيد للبحث وليس إزالة للتشكيل، وتجده في «خيارات إضافية» ضمن «توحيد الحروف للبحث».

هٰذَا الرَّحْمٰنُ، قَرَأَ أَحْمَدُ القُرْآنَ وَسُئِلَ عَنْ مَسْؤُولِيَّةٍ.

هذا الرحمن، قرأ أحمد القرآن وسئل عن مسؤولية.

صارت «هٰذَا» «هذا» و«الرَّحْمٰنُ» «الرحمن»، وهو الإملاء المعتاد لهما. وبقيت الهمزات في «قرأ» و«أحمد» و«القرآن» و«سئل» و«مسؤولية».

لا تفرّق العين بين «أ» المحفوظة حرفًا واحدًا و«أ» المكوّنة من ألف وهمزة مركّبة. لتعرف أيّهما في نصك، الصق الكلمة في تطبيع Unicode واختر NFC، ثم قارن نقاط الترميز قبل التطبيع وبعده:

سأل

سأل

U+0633 U+0627 U+0654 U+0644

U+0633 U+0623 U+0644

قبل التطبيع كانت الكلمة أربعة محارف، منها الهمزة المركّبة U+0654. بعده صارت ثلاثة، والهمزة داخل الحرف U+0623. في الحالتين لا يحذفها خيار التشكيل.

والتطويل مثال آخر. يصفه Unicode بأنه محرف يُضاف لمدّ الحروف أو لحمل التشكيل دون حرف أساسي. إذا حذفت التشكيل وحده بقيت الكشيدة:

مُبــــارَكٌ

مبــــارك

وإذا فعّلت «إزالة التطويل» أيضًا عادت الكلمة إلى شكلها العادي:

مُبــــارَكٌ

مبارك

حذف التشكيل في تنظيف النص خطوة بخطوة

1. افتح تنظيف النص، وألصق نصك في «النص الأصلي». يقبل المحرر حتى 100,000 وحدة نصية، ويمكنك فتح ملف نصي بزر «فتح ملف .txt».
2. اضغط الاختصار «دون تشكيل» أعلى المحرر. يفعّل هذا الاختصار «إزالة التشكيل الشائع» وحده، ويلغي أي خيار آخر كان مفعّلًا. إذا أردت أيضًا ضبط المسافات أو تحويل الأرقام، فلا تستخدم الاختصار. فعّل مربع «إزالة التشكيل الشائع» من مجموعة «العلامات العربية»، ثم أضف ما تحتاجه.
3. انظر إلى «ملخص التغييرات». يذكر عدد علامات التشكيل المحذوفة. إذا لم يظهر أي تغيير، فالنص غير مشكول أصلًا، أو علاماته من خارج التشكيل الشائع.
4. راجع «مقارنة التغييرات» تحت المحرر. تظهر كل علامة محذوفة مشطوبة في موضعها، فتعرف بسرعة إن تغيّر شيء آخر.
5. انسخ النتيجة بزر «نسخ النتيجة» أو نزّلها بزر «تنزيل .txt». يبقى نصك الأصلي كما هو، ويعيد زر «تراجع» الخيارات السابقة.

كَتَبَ الطَّالِبُ دَرْسَهُ بِخَطٍّ جَمِيلٍ.

كتب الطالب درسه بخط جميل.

حذفت الأداة هنا 18 علامة، منها الشدة والفتحة معًا على الطاء في «الطَّالِبُ»، والشدة مع تنوين الكسر في «بِخَطٍّ». النقطة في آخر الجملة بقيت كما هي.

لعدة ملفات استخدم ملفات دفعة واحدة. اختر «إزالة التشكيل فقط» من «خيارات التنظيف»، وأضف حتى 20 ملف .txt بترميز UTF-8، ثم نزّل النتائج في ملف ZIP.

تأكد أن الحذف لم يغيّر شيئًا آخر

«مقارنة التغييرات» تكفي للنصوص القصيرة. لكن إذا كانت لديك نسختان، مشكولة وغير مشكولة، وتريد التأكد أنهما النص نفسه، فاستخدم مقارنة نصّين:

1. ألصق النسخة المشكولة في «النص الأول · A» والنسخة الأخرى في «النص الثاني · B».
2. فعّل «تجاهل التشكيل الشائع». يتجاهل هذا الخيار العلامات التسع نفسها التي يحذفها تنظيف النص، ولا يعدّل النصين الأصليين.
3. إذا تطابق النصان، فالفرق بينهما هو التشكيل فقط. وإذا بقي اختلاف، فهو تغيير حقيقي في الحروف أو الكلمات.

قَرَأْتُ الكِتَابَ مَرَّتَيْنِ.

قرأت الكتاب مرتين.

قرأت الكتاب مرتين.
قرأت الكتاب مرتين.

في المثال التالي سقطت ألف من كلمة «الكتاب». تجاهل التشكيل لم يُخفِ الخطأ، بل أظهره وحده بعيدًا عن ضجيج الحركات:

قَرَأْتُ الكِتَابَ مَرَّتَيْنِ.

قرأت الكتب مرتين.

قرأت الكتاب مرتين.
قرأت الكتب مرتين.

تقارن الأداة حتى 5,000 وحدة نصية في كل خانة. للنصوص الأطول قسّمها إلى أجزاء.

متى يفيد حذف التشكيل؟

• مفاتيح البحث والفهارس: إذا كان بعض النصوص مشكولًا وبعضها لا، فلن تتطابق «مُحَمَّد» مع «محمد» في بحث حرفي. احفظ النص الأصلي كما هو، وأنشئ منه نسخة دون تشكيل للبحث والمطابقة فقط. وغالبًا تحتاج هذه النسخة إلى توحيد الهمزات والياء أيضًا، وهذا موضوع دليل توحيد النص العربي للبحث.
• أسماء الملفات والروابط: كل حركة في اسم الملف محرف إضافي قد يمنع التطابق مع اسم مكتوب دونها. وفي الروابط يتحول كل محرف عربي، ومنه كل حركة، إلى رمز مثل %D9%8E للفتحة، فيطول الرابط ويصعب نسخه.
• ملفات الترجمة المرئية: السطر يُقرأ في ثوانٍ، والتشكيل الكامل يزحم الأسطر القصيرة. أبقِ فقط ما يمنع اللبس.
• إدخال البيانات والجداول: الاسم المشكول في سجل وغير المشكول في سجل آخر قيمتان مختلفتان عند الفرز أو حذف التكرار أو المطابقة بين جدولين. وحّد العمود قبل المطابقة، وتابع بقية خطوات التنظيف في دليل تنظيف النص العربي المنسوخ.

متى يكون الحذف خطأ؟

التشكيل ليس زينة في كل نص. أحيانًا هو الفرق الوحيد بين كلمتين:

عِلْمٌ، عَلَمٌ، عَلِمَ، عُلِّمَ

علم، علم، علم، علم

أربع كلمات مختلفة في المعنى والنطق صارت كلمة واحدة. لا تحذف التشكيل في هذه الحالات:

• القرآن الكريم والنصوص المضبوطة: الضبط جزء من النص المنقول. وفي الرسم العثماني تمثّل الألف الخنجرية ألفًا تُقرأ، فإذا حذفتها تغيّرت الكلمة.
• الشعر: الوزن قائم على الحركات والسكنات والشدة.
• التعليم وكتب الأطفال: المتعلم يقرأ بالحركات، والنص المجرد يناسب القارئ المتمكن.
• الأسماء التي تحتمل أكثر من قراءة: «مَلَك» و«مَلِك» تصبحان «ملك». في الشهادات والدعوات وقوائم الأسماء أبقِ الضبط الذي يحدد النطق.
• الاقتباس الحرفي: مثل نص قانوني أو مخطوطة محققة يجب أن تبقى كما وردت.

ذَٰلِكَ ٱلْكِتَٰبُ لَا رَيْبَ ۛ فِيهِ ۛ

ذلك ٱلكتب لا ريب ۛ فيه ۛ

صارت «ٱلْكِتَٰبُ» «ٱلكتب» بعد حذف الألف الخنجرية. وبقيت ألف الوصل «ٱ» لأنها حرف لا علامة، وبقيت علامة الوقف «ۛ» لأنها خارج التشكيل الشائع. النتيجة نص لا هو مشكول ولا هو مجرد. إذا احتجت إلى نسخة مجردة من نص قرآني للبحث فقط، فاحتفظ بالأصل دائمًا ولا تنشر النسخة المجردة بديلًا عنه.

وإذا أردت حلًا وسطًا، فاحذف الحركات وأبقِ الشدة. افتح استبدال متقدم، وفعّل «تعبير نمطي JavaScript»، واكتب في «البحث» النمط [ً-ِْٰ]، واترك «الاستبدال» فارغًا. يشمل هذا النمط العلامات التسع كلها ما عدا الشدة U+0651:

عَلَّمَ المُدَرِّسُ الطُّلَّابَ.

علّم المدرّس الطّلّاب.

حذف التشكيل في Word وExcel

Word

في Word لـ Windows يستخدم كثيرون أداة الاستبدال لحذف كل علامة على حدة. افتح Home > Editing > Replace أو اضغط Ctrl+H، ثم انسخ علامة واحدة من نصك، مثل الفتحة، والصقها في Find what. اترك Replace with فارغًا، واختر Replace All، وكرر ذلك لكل علامة. هذه طريقة شائعة وليست ميزة موثّقة لحذف التشكيل، فاعمل على نسخة من الملف.

توثّق Microsoft أيضًا خيار Use wildcards، وهو يقبل مجموعة محارف بين قوسين مربعين أو نطاقًا مثل [r-t]. يضع بعض المستخدمين علامات التشكيل كلها بين القوسين لحذفها مرة واحدة، لكن صفحات Microsoft لا تعرض مثالًا عربيًا، فجرّب ذلك على نسخة من الملف أولًا.

ويذكر مرجع Word للمطورين خيارًا لمطابقة التشكيل في المستندات المكتوبة من اليمين إلى اليسار. يحدد هذا الخيار هل يشترط البحث تطابق الحركات، وقد لا يتوفر بحسب لغات التحرير المثبتة. إذا لم يجد Word العلامة التي ألصقتها، فابدأ بمراجعة هذا الخيار. وهو يغيّر طريقة البحث فقط، ولا يحذف شيئًا وحده.

Excel

الدالة SUBSTITUTE تستبدل نصًا محددًا داخل الخلية، والدالة UNICHAR تعيد المحرف من رقمه في Unicode بالنظام العشري. رقم الفتحة U+064E العشري 1614، فهذه الصيغة تحذف الفتحات من الخلية A2:

=SUBSTITUTE(A2,UNICHAR(1614),"")

ولحذف العلامات التسع كلها تتداخل الدالة تسع مرات، بالأرقام من 1611 إلى 1618، ثم 1648 للألف الخنجرية:

=SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(A2,UNICHAR(1611),""),UNICHAR(1612),""),UNICHAR(1613),""),UNICHAR(1614),""),UNICHAR(1615),""),UNICHAR(1616),""),UNICHAR(1617),""),UNICHAR(1618),""),UNICHAR(1648),"")

تذكر Microsoft أن الدالتين متاحتان في Excel 2016 وما بعده وفي Microsoft 365. ويوفّر Microsoft 365 أيضًا الدالة REGEXREPLACE التي تقبل تعبيرًا نمطيًا بصيغة PCRE2، لكن أمثلة Microsoft لا تشمل العربية، فاختبرها قبل الاعتماد عليها. وفي كل الأحوال اعمل على عمود جديد، واترك العمود الأصلي كما هو.