طريقة انشاء ملف الروبوتس robots.txt

R

raheel

New member
6 فبراير 2019
1,149
0
0
38
الكثير من أصحاب المواقع لا يعرفون أهمّية هذا الملف وطريقة التعامل معه اليوم سأعطيكم لمحة قصيرة توضّح عمله وكيفيّة التعامل معه.
ملف الربوتس هو عبارة عن دليل لعناكب البحث يدلّهم أين مسموح لهم الدخول أو عدم الدخول لتفهم أكثر شاهد هذه العبارات

​


كود:
User-agent: * Allow: / Disallow: /
​

طبعا تعرفونها لكن القليل يعلم ما هي وما دورها لنبدأ بعبارة



كود:
User-agent: *
​

هذه تعني السماح بالدخول والنجمة بجانبها تعني الكل يعني السماح لجميع العناكب بالدخول أينما تريد لكن لو حذفنا النجمة ووضعنا إسم جوجل طبعا باللغة الإنجليزية (google)هذا يعني أن فقط عناكب جوجل هي المسموح لهابالدخول أو إذا وضعنا إسم ياههو(yahoo) فقط عناكب الياهو هي المسموح لها بالدخول وهكذا مع جميع المواقع الأخرى التي ترسل عناكبها أظن أنّ هذه النقطة تمّ تويحها لكن هذا لا يعني أنّ العناكب ستدخل يمكنك القول هذا فقط الترحيب بالعناكب.

العبارة الثانية وهي

كود:
Allow: /
​

هذه العبارة هي مفتاح الدخول للصفحات يعني نطاقك لاحظ معي السلاش باللون الأخضر

كود:
www.helpernt.com/
​

ولاحظ السلاش باللون الأخضر بالعبارة

كود:
Allow: /
​

هذا يعني أن العناكب مسموح لها بالدخول إلى أي ملف أو صفحة بعد السلاش الأخضر لكن لو أحببنا إرسال العناكب إلى ملف معيّن مثلا ملف إسمه (seo) فستكون العبارة هكذا

كود:
Allow: /seo
​

نفس الطريقة يمكنك وضعها لأي ملف تحدّده والأفضل أن لا تحدّد أي ملف لأن العبارة الثالثة ستغنيك عن هذا.

العبارة الثالثة وهي

كود:
Disallow: /
​

تعني عدم السماح بالدخول لملف ما مثلا لاحظ معي الملف (cgi-bin)

كود:
Disallow: /cgi-bin
​

هذا يعني أنّي أوقفت العناكب من الدخول للملف و كما قلت مسبقا بدلا من تحديد الملفات للعناكب لتدخل إليها هذا الملف يوقفها.
إذا فالملفات المراد أرشفتها كثيرة لذالك لا نحدّد أي ملف في العبارة الثانية وتدعها عامّة
والملفات المراد عدم أرشفتها قليلة نحدّدها في العبارةالثالثة ونرتاح.

هناك عبارة رابعة وهي

كود:
Sitemap:
​

هذه العبارة تستعمل لتدلّ عناكب البحث عن خرائط موقعك وتكون حسب عدد خرائط موقعك هكذا



​
وهذا هو شكل للملف الغالب استعماله
كود:
User-agent: * Allow: / Allow: /vb/ Disallow: /cgi-bin/ Disallow: /vb/member.php?find=lastposter&f= Disallow: /vb/*mode= Disallow: /vb/*postcount= Disallow: /vb/*daysprune= Disallow: /vb/misc.php?do=whoposted&t=* Sitemap: http://www.yoursite.com/vb/sitemap.php Sitemap: http://www.helpernt/vb/external.php?type=html Sitemap: http://helpernt.com/sitemap.html Sitemap: http://www.helpernt.com/vb/external.php?type=rss Sitemap: http://www.helpernt.com/vb/external.php?type=rss2 Sitemap: http://www.yoursite.com/ror.xml Sitemap: http://www.helpernt.com/sitemap.xml Sitemap: http://www.helpernt.com/sitemap.xml.gz Sitemap: yoursite.com/urllist.txt
​
 
يجب تسجيل الدخول أو التسجيل كي تتمكن من الرد هنا.
أعلى أسفل