طلب منا أحد قرائنا مؤخرًا الحصول على نصائح حول كيفية تحسين ملف Robots.txt لتحسين محركات البحث. يخبر ملف Robots.txt محركات البحث عن كيفية الزحف إلى موقعك على الويب ، مما يجعله أداة قوية لتحسين محركات البحث على محركات البحث. في هذه المقالة ، سنوضح لك كيفية إنشاء ملف Robots.txt مثالي لـ SEO.
ما هو ملف robots.txt؟
Robots.txt هو ملف نصي يمكن لمالكي مواقع الويب إنشاؤه لإخبار محركات البحث في كيفية الزحف إلى الصفحات على صفحاتها وفهرستها.
يتم تخزينها عادة في الدليل الجذر المعروف أيضًا باسم المجلد الرئيسي لموقعك على الويب. يبدو الشكل الأساسي لملف Robots.txt على النحو التالي:
User-agent: [user-agent name] Disallow: [URL string not to be crawled] User-agent: [user-agent name] Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap]User-agent: [user-agent name]



يمكنك الحصول على عدة أسطر من التعليمات للسماح بعناوين URL محددة أو عدم السماح بها وإضافة ملفات Sitemap متعددة. إذا كنت لا تمنع عنوان URL ، تفترض محركات البحث في محرك البحث أن يُسمح لها بالزحف إليه.
في ما يلي مثال لملف نموذج robots.txt:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Sitemap: https://example.com/sitemap_index.xml



في مثال Robots.txt أعلاه ، سمحنا لمحركات البحث بالزحف إلى الملفات وفهرستها في مجلد التحميلات على ووردبريس.
بعد ذلك ، لم نسمح ببرامج تتبع البحث من الزحف إلى الفهرسينات ومجلدات المشرف في ووردبريس وفهرستها.
أخيرًا ، لقد قدمنا عنوان URL الخاص بخريطة الموقع XML الخاصة بنا.
هل تحتاج إلى ملف Robots.txt لموقعك على ووردبريس؟

إذا لم يكن لديك ملف robots.txt ، فستستمر محركات البحث في الزحف إلى موقعك على الويب وفهرسته. ومع ذلك ، لن تتمكن من إخبار محركات البحث بالصفحات أو المجلدات التي لا يجب الزحف إليها.
لن يكون لهذا تأثير كبير عندما تبدأ لأول مرة في مدونة ولا تحتوي على الكثير من المحتوى.
ولكن مع نمو موقعك على الويب ولديك الكثير من المحتوى ، فمن المرجح أنك تريد التحكم بشكل أفضل في كيفية الزحف إلى موقعك على الويب وفهرسته.
هنا لماذا.
تشتمل برامج تتبع البحث على حصة للزحف لكل موقع ويب.

هذا يعني أنها تقوم بالزحف إلى عدد معين من الصفحات أثناء جلسة تتبع الارتباطات. إذا لم ينهوا الزحف إلى جميع الصفحات على موقعك ، فسيعودون ويستمرون في الزحف في الجلسة التالية.
هذا يمكن أن يبطئ معدل فهرسة موقعك.

يمكنك إصلاح هذا عن طريق منع برامج تتبع البحث من محاولة الزحف إلى الصفحات غير الضرورية مثل صفحات المسؤول في WordPress وملفات المكوّنات الإضافية ومجلد المظاهر.
من خلال عدم السماح بالصفحات غير الضرورية ، يمكنك حفظ حصة الزحف. يساعد ذلك محركات البحث في الزحف إلى المزيد من الصفحات على موقعك وفهرستها في أسرع وقت ممكن.
هناك سبب آخر جيد لاستخدام ملف Robots.txt عندما تريد إيقاف محركات البحث عن فهرسة منشور أو صفحة على موقعك الإلكتروني.
إنها ليست الطريقة الأكثر أمانًا لإخفاء المحتوى عن عامة الناس ، ولكنها ستساعدك على منعهم من الظهور في نتائج البحث.
ما الذي يجب أن يبدو عليه ملف Robots.txt المثالي؟

تستخدم العديد من المدونات الشائعة ملف Robots.txt بسيط جدًا. قد يختلف محتواها ، وفقًا لاحتياجات الموقع المحدد:
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml



يتيح ملف Robots.txt لجميع برامج الروبوت فهرسة جميع المحتويات ويوفر لهم رابطًا إلى ملفات sitemap على الويب الخاصة بموقع الويب.
لمواقع ووردبريس ، نوصي بالقواعد التالية في ملف robots.txt:

User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml



هذا يخبر عناكب البحث لفهرسة كل صور وملفات ووردبريس. لا يسمح ببرامج البحث من فهرسة ملفات ووردبريس الإضافية ، ومساحة إدارة ووردبريس، وملف ووردبريس التمهيدي ، والارتباطات التابعة.
من خلال إضافة ملفات sitemap (خريطه الموقع ) إلى ملف Robots.txt ، فإنك تسهّل على برامج الروبوت العثور على جميع صفحات موقعك.
الآن بعد أن عرفت كيف يبدو ملف Robots.txt المثالي ، دعنا نلقي نظرة على كيفية إنشاء ملف Robots.txt في ووردبريس.
كيفية إنشاء ملف Robots.txt في ووردبريس؟

هناك طريقتان لإنشاء ملف Robots.txt في ووردبريس . يمكنك اختيار الطريقة التي تناسبك.
الطريقه 1#: تحرير ملف Robots.txt باستخدام Yoast SEO
إذا كنت تستخدم المكوّن الإضافي Yoast SEO ، فإنه يأتي مع مولد ملف robots.txt.
يمكنك استخدامه لإنشاء وتحرير ملف Robots.txt مباشرة من منطقة مشرف WordPress الخاصة بك.
ما عليك سوى الانتقال إلى صفحة “أدوات تحسين محركات البحث” في مشرف ووردبريس والنقر على رابط محرر الملف.
SEO » Tools





في الصفحة التالية ، ستعرض صفحة Yoast SEO ملف Robots.txt الموجود.
إذا لم يكن لديك ملف Robots.txt ، فسيعمل Yoast SEO على إنشاء ملف Robots.txt لك.





بشكل افتراضي ، سيقوم مولد ملف Robots.txt الخاص بـ Yoast SEO بإضافة القواعد التالية إلى ملف Robots.txt الخاص بك:
User-agent: * Disallow: /
Markup
Copy


من المهم حذف هذا النص لأنه يمنع جميع محركات البحث من الزحف إلى موقعك على الويب.
بعد حذف النص الافتراضي ، يمكنك المتابعة وإضافة قواعد Robots.txt الخاصة بك. نوصي باستخدام تنسيق Robots.txt المثالي الذي شاركناه أعلاه.
عند الانتهاء ، لا تنس النقر على زر “حفظ ملف robots.txt” لتخزين التغييرات.
الطريقة #2. تحرير ملف Robots.txt يدوياً باستخدام FTP

بالنسبة إلى هذه الطريقة ، ستحتاج إلى استخدام عميل او برنامج FTP لتعديل ملف robots.txt.
ما عليك سوى الاتصال بحساب استضافة ووردبريس الخاص بك باستخدام عميل FTP.
بمجرد الدخول ، ستتمكن من رؤية ملف Robots.txt في المجلد الجذر لموقعك على الويب.




إذا كنت لا ترى الملف ، فمن المحتمل ألا يكون لديك ملف Robots.txt من الاساس . في هذه الحالة ، يمكنك المضي قدمًا وإنشاء ملف.





Robots.txt هو ملف نصي عادي ، مما يعني أنه يمكنك تنزيله على جهاز الكمبيوتر الخاص بك وتحريره باستخدام أي محرر نص عادي مثل Notepad أو TextEdit.
بعد حفظ التغييرات ، يمكنك تحميلها مرة أخرى إلى المجلد الجذر لموقعك على الويب.