شرح ملف روبوتس robots.txt بلوجر , إنشاء ملف robots txt بالتفصيل للمبتدئين

[محمد عاطف]

كيفية إضافة ملف Robots.txt مخصص في Blogger خطوة بخطوة​

كل واحد منا يريد أن يعلن عن وجوده على الويب أليس كذلك؟ يومًا بعد يوم ، نحاول طرقًا ووسائل لزيادة تصنيفات البحث لدينا على Google ومحركات البحث الأخرى. سيساعدك إجراء إعدادات جيدة وإضافة ملف Robots.txt مخصص في مدونتك حقًا في تصنيفات البحث.

إذا كنت تريد معرفة كيفية إضافة ملف robots.txt مخصص في بلوجر ، فنعم ، مبروك عليك إدخال المقالة الصحيحة. هذا هو المقال لك. في هذا المنشور ، أشارك كيفية إضافة ملف robots.txt مخصص في Blogger Blogspot. قبل أن ننتقل ، أود أن أتحدث عن ملف robot.txt ولماذا يجب عليك إضافة ملف robots.txt مخصص في مدونة بلوجر الخاصة بك.

ما هو ملف Robots.txt المخصص؟ لماذا أحتاج إلى إضافة ملف Robots.txt مخصص في Blogger؟​

Robots.txt هو ملف نصي من Google يتضمن بضعة أسطر من التعليمات البرمجية البسيطة. يتم تخزينه على موقع الويب أو خادم الموقع الذي يوجه برامج زحف الويب حول كيفية فهرسة موقعك والزحف إليه في نتائج بحث Google. هذا يعني أنه يمكنك تقييد أي صفحة ويب على مدونتك من برامج زحف الويب بحيث لا يمكن فهرستها في محركات البحث مثل صفحة تسميات المدونة الخاصة بك أو صفحتك التجريبية أو أي صفحات أخرى ليس لها نفس الأهمية للفهرسة. تذكر دائمًا أن برامج زحف البحث تفحص ملف robots.txt قبل الزحف إلى أي صفحة ويب.

في Blogger ، يرتبط خيار البحث بالتسميات. إذا كنت لا تستخدم التصنيفات بحكمة لكل منشور ، فيجب عليك عدم السماح بالزحف إلى رابط البحث. في Blogger ، بشكل افتراضي ، لا يُسمح لارتباط البحث بالزحف. في ملف robots.txt هذا ، يمكنك أيضًا كتابة مكان ملف خريطة الموقع. ملف sitemap هو ملف موجود على خادم يحتوي على جميع الروابط الثابتة للمنشورات لموقعك على الويب أو مدونتك. تم العثور على خريطة الموقع في الغالب بتنسيق XML ، مثل ملف sitemap.xml.

كل شيء عن ملف Robots.txt المخصص في Blogger خطوة بخطوة مع شرح للكلمات الرئيسية​

يحتوي كل موقع مستضاف في blogger على ملف robots.txt الافتراضي المخصص الخاص به والذي يبدو كالتالي:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Disallow: /b

Allow: /

Sitemap: https://www.yourblogurll.blogspot.com/feeds/posts/default?orderby=updated

دعنا نفهم ملف Robot.txt المخصص تمامًا: شرح ملف Robots.txt المخصص بكلمات Blogger الرئيسية​

هذا الكود او الرمز أعلاه مقسم إلى أجزاء مختلفة. دعونا أولاً ندرس كل واحد منهم وبعد ذلك سنكتشف كيفية اكتشاف ملفات robots.txt المخصصة في مواقع المدونات.


User-agent: Mediapartners-Google
هذا الرمز مخصص لروبوتات Google Adsense التي تساعدهم على تقديم إعلانات فائقة الجودة على مدونتك. إما أنك تستخدم Google Adsense على مدونتك أو لا تتخلى عنها ببساطة كما هي بالفعل.

User-agent:*

بشكل افتراضي ، تقتصر روابط تاق مدونتنا على العثور عليها بواسطة برامج زحف البحث مما يعني أن مشرف الموقع لن يقوم بفهرسة الروابط لصفحة العلامات الخاصة بنا بسبب الكود أدناه.

Disallow: / search
وهذا يعني أنه سيتم تجاهل الارتباطات التشعبية التي تحتوي على البحث عن الكلمات الأساسية فقط بعد اسم المجال. انظر المثال أدناه وهو رابط لصفحة العلامة تسمى SEO.

وإذا أزلنا Disallow: /search في الكود أعلاه ، فقد تحصل برامج الزحف على مدونتنا بالكامل لفهرسة جميع مقالاتها وصفحات موقع الويب والزحف إليها. هنا Allow: / يصف الصفحة الرئيسية مما يعني أن برامج زحف الإنترنت يمكنها الزحف إلى الصفحة الرئيسية لمدونتنا وفهرستها.

كيفية عدم السماح بنشر خاص: افترض الآن إذا أردنا استبعاد مقالة معينة من الفهرسة ، فيمكننا وضع الأسطر أدناه من الكود. Disallow: /yyyy/mm/post-url.html هنا يشير هذا yyyy و mm إلى شهر النشر وسنة النشر على التوالي. على سبيل المثال ، إذا نشرنا منشورًا في عام 2020 لكل شهر مارس ، فعلينا استخدام التنسيق التالي. Disallow: /2020/03/post-url.htmlلتسهيل هذه المهمة ، من الممكن فقط نسخ عنوان URL للمنشور وإزالة النطاق من البداية.

كيفية عدم السماح بصفحة معينة : إذا احتجنا إلى عدم السماح بصفحة معينة ، فيمكننا استخدام نفس الطريقة تمامًا كما في السابق. ما عليك سوى نسخ عنوان URL للصفحة وإزالة عنوان الموقع منه الذي سيبدو
هكذا: Disallow: /p/page-url. html .

خريطة الموقع Sitemap : http: //yoururll.blogspot.com/feeds/posts/defaultorderby=UPDATED

يشير هذا الكود إلى موقع موقع الويب. إذا قمت بوضع موقع الويب الخاص بك هنا ، فيمكنك زيادة سرعة هذه المدونة. هذا يعني أنه إذا قامت برامج الزحف بالزحف إلى ملف robots.txt الخاص بك ، فيمكنهم العثور على مسار للزحف إلى موقع الويب الخاص بك أيضًا. إذا قمت بتضمين ملف sitemap الخاص بموقعك في مستند robots.txt ، فإن برامج زحف الإنترنت ستزحف بسهولة إلى جميع الصفحات والمقالات دون فقد أي منها.

اسمحوا لي أن أوضح أكثر لفهم أفضل ، هناك ثلاثة أنواع من ملف Robots.txt المخصص​

Robots.txt النوع 1​

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Disallow: /b
Allow: /

Sitemap: https://www.yourblogurl.blogspot.com/sitemap.xml

Robots.txt النوع 2​

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Disallow: /b
Allow: /

Sitemap: https://www.yourblogurl.blogspot.com/feeds/posts/default?orderby=updated


ملاحظة: لا تنس تغيير https://www.yourblogurl.blogspot.com بعنوان مدونتك أو دومين مخصص. يرجى الاطلاع على التنفيذ أدناه - كيفية إضافة ملف Robots.txt مخصص في Blogger خطوة بخطوة. إذا كنت تريد أن تقوم روبوتات محرك البحث بالزحف إلى أحدث 500 منشور ، فيجب عليك استخدام نوع ملف robots.txt التالي 2. إذا كان لديك بالفعل أكثر من 500 مشاركة على مدونتك ، فيمكنك إضافة سطر خريطة موقع آخر.

ملاحظة: ستخبر خريطة الموقع هذه برامج زحف الويب عن المشاركات الـ 25 الأخيرة فقط. إذا كنت ترغب في زيادة عدد الروابط في ملف Sitemap الخاص بك ، فاستبدل خريطة الموقع الافتراضية أدناه. وسيعمل مع أول 500 وظيفة حديثة.

Sitemap: http://example.blogspot.com/atom.xml؟redirect=false&start-index=1&max-results=500

إذا كان لديك أكثر من 500 مشاركة منشورة في مدونتك ، فيمكنك استخدام ملفي Sitemap كما يلي:

خريطة الموقع: http : //example.blogspot.com/atom.xml؟ redirect = false & start-index = 1 & max-results = 500 خريطة الموقع: http://example.blogspot.com/atom.xml؟redirect=false&start-index=500&max-results=1000

Robots.txt النوع 3​

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Disallow: /b
Allow: /

Sitemap: https://www.yourblogurl.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.yourblogurl.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

كيفية إضافة ملف Robots.txt مخصص في Blogger خطوة بخطوة​

الآن الجزء الرئيسي من هذا المقال التعليمي هو كيفية إضافة ملف robots.txt مخصص في بلوجر. لذلك فيما يلي خطوات لإضافته.
الخطوة 1 - انتقل إلى مدونة بلوجر الخاصة بك.
الخطوة 2 - انتقل إلى "تفضيلات البحث"> "برامج الزحف والفهرسة"> "ملف robots.txt مخصص
الخطوة 3 - الآن قم بتمكين محتوى ملف robots.txt المخصص عن طريق تحديد" نعم ".
الخطوة 4 - الآن قم بلصق كود ملف robots.txt في المربع.
الخطوة 5 - انقر على زر حفظ التغييرات.
الآن انتهيت! انظر الرسم البياني أدناه لمزيد من المعلومات

كيفية التحقق من ملف Robots.txt الخاص بك​

يمكنك التحقق من هذا الملف في مدونتك عن طريق إضافة /robots.txt في نهاية عنوان URL لمدونتك في متصفح الويب. على سبيل المثال:

http://www.yourblogurl.blogspot.com/robots.txt

بمجرد زيارة عنوان URL لملف robots.txt ، سترى الشفرة الكاملة التي تستخدمها في ملف robots.txt المخصص. انظر الرسم البياني أدناه:

حاولت تغطية أكبر قدر ممكن من المعلومات حول كيفية إضافة ملف robots.txt مخصص في blogger Blogspot عن طريق إضافة ملف Robots.txt مخصص في Blogger ، فإنه يساعد على زيادة حركة المرور الزوار لموقعك على الويب. وإذا كنت قد استمتعت بمقالة المدونة هذه ، فشاركها مع أصدقائك الذين يرغبون في إضافة ملف robots.txt مخصص في المدونة ويريدون تحسين حركة المرور على الموقع. إذا كانت لديك أي سؤال او مشكلة ، فلا تتردد في طرحها في قسم التعليقات أدناه!