القائمة الرئيسية

الصفحات

أفضل ملف robots.txt لمدونات بلوجر

طريق وضع أفضل ملف robots.txt في بلوجر

أفضل ملف robots.txt لمدونات بلوجر
أفضل ملف robots.txt لمدونات بلوجر

تحميل أفضل ملف robots.txt لمدونات Blogger

هل يوجد [أفضل ملف robots.txt لمدونات بلوجر والمواقع] ايضا ما هو robots.txt؟

هو عبارة عن خدمة أو وكيل يزحف إلى المواقع الإلكترونية. بشكل عام، يصل أي برنامج زحف تلقائيًا وبشكل متكرر إلى عناوين URL المعروفة لمضيف ما، ويكشف هذا المضيف المحتوى الذي يمكن الوصول إليه باستخدام متصفحات الويب العادية. وعندما يتم العثور على عناوين URL جديدة (من خلال وسائل متعددة، مثلًا من خلال الروابط على الصفحات الحالية التي تم الزحف إليها أو من ملفات Sitemap)، يتم الزحف إليها أيضًا بالطريقة نفسها, ايضا هناك مقالة رائعة قد تهمك عن طريقة زيادة سرعة والأداء الموقع أوالمدونة.

 مبدئيًا، لدينا 5 أوامر رئيسية بخصوص robots.txt، سنشرحها واحدًا وواحدًا ، ونترك لك إن شاء الله بعد قراءة التدوينة تفهم ما هي ملفات {robots.txt} وطريقة عملها وكيف إضافة ملف robots.txt الى المدونات لتحصل على نتائج جيدة في محركات البحث وارشفة المواضيع بسرعة .. كما وضعنا في هذه المقالة أفضل ملفات robots.txt التي تلبي احتياجاتك واحتياجات موقعك.

شرح ملف robots.txt بالتفصيل لمعرفة طريقة عمله في مدونات

لماذا ملف robots.txt مهم؟

(ملف robots.txt)، المعروف أيضا باسم بروتوكول استبعاد الروبوتات أو المعيار، هو ملف نصي يخبر روبوتات الويب (غالبا محركات البحث) بالصفحات على موقعك للزحف إليها.
كما يخبر روبوتات الويب بالصفحات التي لا يجب الزحف إليها.
لنفترض أن محرك البحث على وشك زيارة موقع. قبل أن يزور الصفحة المستهدفة، فإنه سيتم التحقق من robots.txt للحصول على تعليمات.
هناك أنواع مختلفة من الروبوتات .txt الملفات، لذلك دعونا ننظر إلى بعض الأمثلة المختلفة لما تبدو عليه, أيضا اقرا هذه المقالة الرائعة عن كود تسريع مدونة بلوجر وتقليل وقت تحميل الصفحة.

User agent:

يمكنك استخدامه لمخاطبة روبوت معين باسمه وتوجيه الأوامر إليه فقط، باستثناء الروبوتات الأخرى، على سبيل المثال، إذا كنت تريد توجيه الأوامر إلى روبوتات بحث Google فقط، فستكتب هذا الاسم بجانبه.

User agent: Googlebot:

وإذا كنت تريد توجيه الأوامر إلى روبوتات محرك بحث Bing ، فسيكون هذا هو الحال.

User agent: Bingbot:

حسنًا ، نفترض أنك تريد إعطاء أوامر لجميع أنواع الروبوتات دون استثناء. الجواب لا ، ولكن يمكنك ببساطة وضع علامة النجمة * لتوجيه الطلبات لجميع أنواع الروبوتات داخل المبيعات

User agent: *:

حسنًا، لذلك تحدثنا إلى الروبوت ... ناقصًا، نحظر الأوامر ونوجهها كما نريد (نعلم ما هو مسموح بدخوله وأرشفته داخل الموقع وما هو غير مسموح).

هنا يأتي دور أمر not allow وAllow ... أو المنع والإذن، ويكاد الاثنان يؤديان نفس المهمة ... بمعنى إذا جاءك المنزل كضيف وأقول له (سأفعل يسمح لك بدخول الصالون فقط) وكأنك أخبرته بالضبط أنه لا يسمح لك بدخول أي مكان في المنزل ليس غرفة جلوس.
ولو أخبرته مثلا (لا أسمح لك بدخول هذه الغرفة) كأنك أخبرته بالضبط فسأسمح لك بدخول أي مكان من الرفاهية والراحة
على سبيل المثال، لديك مدونة باللغة العربية على www.website.com/en/.

How To Add Custom Robots.txt File in Blogger?
أفضل ملف robots.txt لمدونات بلوجر


وأنت تخطط لإنشاء قسم باللغة الإنجليزية لمدونتك ولكنك لم تنتهِ من إعداد القسم وتجهيزه، وقد يستغرق الأمر شهرًا أو شهرين ولا تريد خلال هذه الفترة أن تقوم محركات البحث بأرشفة القسم .. فكيف نترجم هذا الشيء إلى أوامر داخل ملف الروبوتات ؟؟

طريقة وضع ملف robots.txt لمدونات بلوجر

أولاً ، سنستخدم السطر الأول للتعامل مع جميع محركات البحث بهذه الطريقة:

User agent: *

ثم نبدأ بإعطاء الأوامر .. هنا يمكنك الاختيار بين حالتين
إما أن تقول لمحركات البحث، فسأسمح لك فقط بإدخال وأرشفة كل شيء داخل هذا المجلد / ar /، وبالتالي لن تتمكن الروبوتات تلقائيًا من الأرشفة والدخول إلى قسم اللغة الإنجليزية وسيكون على النحو التالي

User agent: *
Allow: / ar /

اليوم الثاني، وهو الأفضل، توجيه محركات البحث بعدم دخول قسم اللغة الإنجليزية فقط، بإذن من أجل مشرفي.

User agent: *
Do not allow: / in /

طيب هل نفترض أنك تريد منع الروبوتات من أرشفة أقسام اللغة الإنجليزية والفرنسية والألمانية ؟؟ ثم إما أن تقوم بتطبيق الخيار الثاني، وسيكون الأمر على النحو التالي:

User agent: *
Do not allow: / in /
Do not allow: / fr /
Do not allow: / of /

أو أنك راضٍ عن الخيار الأول، لأنه سطر واحد فقط.

User agent: *
Allow: / ar /

وهنا يبدو الأمر تمامًا كما لو قلت لجميع الروبوتات، لا يُسمح لك بالأرشفة وإدخال أي شيء آخر غير اللغة العامية، Tabam.
للأسف، من الأخطاء الشائعة أيضًا وضع شيء كهذا في ملف الروبوتات الخاص بموقعه، ثم يتفاجأ بسبب عدم أرشفة موقعه في محركات البحث، وهو أحد الأوامر الخاطئة المنتشرة على الإنترنت. بخصوص WordPress وبلوجر.

User agent: *
Do not allow: / wp-admin /
Allow: /wp-admin/admin-ajax.php

أنت تقول للروبوتات، لا يُسمح لك بإدخال محتوى مجلد wp-admin وأرشفته، هذا رائع جدًا ؟؟ لكن في نفس الوقت قلت أنه لا يُسمح لك إلا بأرشفة هذا الملف wp-admin / admin-ajax.php.
يعني في البلد قطعت الماء والضوء عنهم داخل موقعك ولن تعرف الروبوتات أرشيفات اليوم السابق / المشرف. لكن من الصحيح أن الأمر هو بالضبط ما هو عليه.

User agent: *
User agent: *
Do not allow: / wp-admin /

او الأفضل يكون كدة وبس.

User agent: *
User agent: *
Do not allow: / wp-admin /
Tracking delay: 10

How To Add Custom Robots.txt File in Blogger?
أفضل ملف robots.txt لمدونات بلوجر

سيطلب الطلب من الروبوتات الانتظار لمدة 10 ثوانٍ، على سبيل المثال، بين كل حركة والثانية داخل موقعك .. سيكون الأمر مفيدًا إذا كان موقعك كبيرًا وضخمًا جدًا، وتقوم الروبوتات بأرشفة صفحاته بسرعة مبالغ فيها. مما يؤثر على استقرار موقعك وسرعة تنزيله للزوار طبعا يمكنك تعديل الرقم 10 لاي رقم يناسبك الشيء الخامس والأخير هو:

خريطة الموقع:

هدفه هو إعلام جميع برامج الروبوت بمسار خريطة الموقع أو خريطة الموقع، كما في المثال التالي.

خريطة الموقع: https://www.website.com/sitemap.xml

هل إذا نسيت كتابة الأمر الرابع فلن يتم أرشفة موقعك ؟؟

ببساطة أجب (لا).

لأن عناكب محرك البحث أو الروبوتات ذات التدخل منتشرة في جميع أنحاء موقعك وتقوم بشيء يسمى drag، يمكنك من خلاله الوصول إلى جميع الروابط الداخلية على موقعك، ولكن الفكرة هي أنك تسهل عليهم الأمر وتعرف موقع (صفحة الفهرس) الخاصة بموقعك.

اقرا أيضا هذه المقال عن تحميل اسرع قالب مجاني لمدونة بلوجر.

هل ملف الروبوتات ضروري لاستخدامه لأي موقع على شبكة الإنترنت ؟؟

ببساطة أجب (لا).

لأن عناكب محرك البحث أو الروبوتات ذات التدخل منتشرة في جميع أنحاء موقعك وتقوم بشيء يسمى drag، يمكنك من خلاله الوصول إلى جميع الروابط الداخلية على موقعك، ولكن الفكرة هي أنك تسهل عليهم الأمر وتعرف موقع (صفحة الفهرس) الخاصة بموقعك.

في النهاية أود أن أشير إلى بعض النقاط المهمة:
  1. ملف الروبوتات يستخدم بشكل استثنائي وليس ضروري، وعدم استخدامه لن يضر بموقعك في أي شيء.
  2. لا داعي لاسمه (اريد ملف الروبوتات الذي يستخدمه الخبراء) ويفترض ان كل موقع قد احضر ملف robots خاص لكل من Bahhobotah و Bbob.
  3. أسماء الروبوتات التي لا تكتبها من دماغك .. كل روبوت له اسمه الخاص. روبوتات Google Adsense، على سبيل المثال ، لها اسم مختلف عن روبوتات بحث Google ومختلف عن صور Google وما إلى ذلك، على الرغم من أنها جميعها تابعة لنفس الشركة، وهي Google.
  4. بصفتي مالك مدونة في أول 3 أشهر، لست بحاجة إلى أكثر مما اعتدت على كتابة المحتوى بأفضل جودة ممكنة. سوف يمنعك من التركيز على أفضل قالب وأسرع قالب وجودة للجميع لأنه من تجربتي الشخصية، اكتشفت أن معظم الأشخاص الذين يهتمون بهذه الأشياء في بداية موقعهم يتوقفون عن العمل تمامًا بعد التخلص منها .. أو بمعنى أصح، فإنهم يجعلون ذلك ذريعة للهروب من كتابة المحتوى .. تحتاج Google إلى محتوى منك لتثق بجديتك كصاحب موقع، ويمكن تقديره بعد 3 أشهر بإذن الله. للعودة إلى هذه الأشياء وتكييفها مع راحتك عندما تكون معتادًا على كتابة المحتوى وأصبح عادة يومية بالنسبة لك.

تحميل أفضل ملف robots.txt لمدونة بلوجر

ملف robots.txt النوع 1:

User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /search
Disallow: /b
Allow: /
Sitemap: https://www.bing1bang.com/sitemap.xml

ملاحظة: يمكنك تغيير روبوتات Blogspot الافتراضية.txt كما هو الحال أعلاه".

How To Add Custom Robots.txt File in Blogger?
أفضل ملف robots.txt لمدونات بلوجر

ملف robots.txt النوع 2:

User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /search
Disallow: /b
Allow: /
Sitemap: https://www.bing1bang.com/feeds/posts/default?orderby=updated

ملاحظة: لا تنسى تغيير https://www.bing1bang.com/ باستخدام عنوان مدونتك أو نطاق مخصص. إذا كنت تريد أن تزحف روبوتات محركات البحث إلى أحدث 500 مشاركة ، فيجب عليك استخدام الروبوتات التالية .txt النوع 2. إذا كان لديك بالفعل أكثر من 500 مشاركة على مدونتك، فيمكنك إضافة سطر خريطة موقع آخر تم تمييزه باللون الأحمر. robots.txt.

ملف robots.txt النوع 3:

User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /search
Disallow: /b
Allow: /
Sitemap: https://www.bing1bang.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.bing1bang.com/atom.xml?redirect=false&start-index=501&max-results=500

ملاحظة: لا تنس تغيير https://www.bing1bang.com/ باستخدام عنوان مدونتك أو نطاق مخصص.

التعبير الرياضي للروبوتات Blogger.txt إدخالات خريطة الموقع:

Sitemap: https://www.bing1bang.com/atom.xml?redirect=false&start-index=(m*0)+1&max-results=m
Sitemap: https://www.bing1bang.com/atom.xml?redirect=false&start-index=(m*1)+1&max-results=m
Sitemap: https://www.bing1bang.com/atom.xml?redirect=false&start-index=(m*2)+1&max-results=m
Sitemap: https://www.bing1bang.com/atom.xml?redirect=false&start-index=(m*3)+1&max-results=m
Sitemap: https://www.bing1bang.com/atom.xml?redirect=false&start-index=(m*n)+1&max-results=m
حيث m = 500 و n = 1، 2، 3، 4,..., n. إذا كنت قد نظمت التسميات وظيفة في شكل جيد وخبرة جيدة من محرك البحث الأمثل (لجميع المواقع والمدونات) ، ثم يمكنك إزالة السطر التالي.

How To Add Custom Robots.txt File in Blogger?
أفضل ملف robots.txt لمدونات بلوجر

Disallow: /search:

الأهم من ذلك : إذا كنت لا تريد أن تقدم أي مقالة أو صفحة لمحركات البحث، ثم يمكنك إضافتها من هذا القبيل: للبريد، إضافة سطر من هذا القبيل.
Disallow: /yyyy/mm/post-name.html

لصفحة إضافة سطر من هذا القبيل.
Disallow: /p/page-name.html

لهذا، يرجى اتباع هذه الخطوات بعناية. لوحة القيادة ›› إعدادات المدونة ›› تفضيلات البحث ›› الزواحف والفهرسة ›› روبوتات مخصصة.txt ›› تحرير ›› نعم للحصول على فهم أفضل لهذا يمكنك الرجوع إلى الصورة الواردة أدناه:

How To Add Custom Robots.txt File in Blogger?
أفضل ملف robots.txt لمدونات بلوجر

كيفية التحقق من ملف robots.txt الخاصة بك؟

يمكنك التحقق من هذا الملف على مدونتك عن طريق إضافة / robots .txt في نهاية عنوان URL الخاص بك في متصفح الويب. على سبيل المثال:

https://www.bing1bang.com/robots.txt

بمجرد زيارة robots.tx URL الملف سترى التعليمات البرمجية بأكملها التي تستخدمها في robots.txt المخصصة الخاصة بك.
انظر أدناه الصورة.

How To Add Custom Robots.txt File in Blogger?
أفضل ملف robots.txt لمدونات بلوجر

الأسئلة المتداولة حول ملف robots.txt

كيف يبدو ملف robots.txt؟
إليك مثال على محتوى ملف robots.txt: User-agent: * Disallow: هذا يخبر جميع الزواحف أنهم يستطيعون الوصول إلى كل شيء.

ماذا يفعل عدم السماح في ملف robots.txt؟

عندما تقوم بتعيين robots.txt إلى "Disallow: /"، فأنت تخبر جميع الزواحف بشكل أساسي بالابتعاد. لا يسمح لأي زاحفات، بما في ذلك Google، بالوصول إلى موقعك. وهذا يعني أنهم لن يتمكنوا من تتبع ارتباطات موقعك وفهرسة موقعه وتصنيفه. وهذا سيؤدي إلى انخفاض هائل في حركة المرور العضوية.

ماذا يسمح الجميع في ملف robots.txt؟

عند تعيين robots.txt إلى "Allow: /"، تخبر كل زاحف أنه يمكنه الوصول إلى كل عنوان URL على الموقع. ببساطة لا توجد قواعد للنسب. يرجى ملاحظة أن هذا يعادل وجود روبوتات فارغة .txt، أو عدم وجود روبوتات .txt على الإطلاق.

ما مدى أهمية ملف robots.txt للمواقع والمدونات؟
بشكل عام، فإن ملف ملف robots.txt مهم جدا لأغراض تحسين محركات البحث. بالنسبة للمواقع الكبيرة، فإن ملف robots.txt ضروري لإعطاء محركات البحث تعليمات واضحة جدا حول المحتوى الذي لا يمكن الوصول إليه.

الكلمات الأخيرة:
وكانت هذه المقالة اليوم كاملة حول كيفية إضافة {robots.txt} المخصصة في البلوجر.
حاولت قصارى جهدي لجعل هذا البرنامج التعليمي بسيطة وغنية بالمعلومات قدر الإمكان. ولكن لا يزال إذا كان لديك أي شك أو استفسار ثم لا تتردد في أن تسألني في قسم التعليق أدناه.
تأكد من عدم وضع أي رمز في robots.txt المخصصة الخاصة بك دون معرفة ذلك. ببساطة اطلب مني حل استفساراتك. سأخبرك بكل شيء بالتفصيل.
شكرا لقراءة هذه  المقالة حول ملف robots.txt.
آمل أن تستفيد من هذا المقال والحصول على أفضل وجود في محركات البحث والترتيب في صفحات جوجل.



نجم
نجم
اسمي نجم.. مهووس بالتقنية والالعاب والفنون والعلومِ والقراءة وملم بآخر المستجدات على شبكات التواصلِ الاجتماعي، وتم اختيار أسم هذه المدونة "عشوائيات الأنترنت" للتعبير عن عشوائيات الموجودة في الانترنت.

تعليقات