مدعوم بالذكاء الاصطناعي
مختبر robots.txt يقرأ قواعد الموقع وخرائطه ويختبر هل تستطيع محركات البحث وزواحف الذكاء الاصطناعي قراءة عنوان معين.
متاحةجاهزة للاستخدام.
افتح الأداة| الزاحف | العنوان | النتيجة |
|---|---|---|
| Googlebot | /blog/post | مسموح |
| Googlebot | /search?q=x | محظور |
| GPTBot | /blog/post | محظور |
يشرح الذكاء الاصطناعي كل قاعدة ببساطة. السماح بالعنوان تقرره قواعد المطابقة نفسها التي تستخدمها محركات البحث.
يُجلب الملف وتُجمع قواعده حسب الزاحف.
تُقرأ خرائط الموقع المذكورة في robots.txt أو في العنوان المعتاد.
يُطابق عنوانك مع قواعد كل زاحف.
أي قاعدة حسمت الأمر وما يجب تغييره.
robots.txt ملف نصي صغير في جذر الموقع يخبر الزواحف بالأجزاء التي يمكنها طلبها. مختبر robots.txt يقرأ هذا الملف ويتحقق هل عنوان معين مسموح لزاحف معين، مثل Googlebot أو زاحف ذكاء اصطناعي.
سطر واحد خاطئ قد يخفي قسما كاملا من البحث، لذا فإن الاختبار قبل التغيير وبعده يستحق دقيقة.
يجمع القواعد حسب الزاحف، ويشير إلى الأسطر غير الصالحة، ويعثر على قواعد تحظر CSS أو السكربتات التي تحتاجها الصفحات للعرض. يمكنك اختبار أي عنوان مع زواحف البحث وزواحف الذكاء الاصطناعي مثل GPTBot وClaudeBot وPerplexityBot.
كما يقرأ خرائط الموقع المذكورة في الملف، ويعد عناوينها، ويكتشف العناوين التي تفشل أو التي يحظرها robots.txt.
robots.txt يتحكم في الزحف، لا في الفهرسة. الصفحة المحظورة قد تظهر في البحث إذا ارتبطت بها صفحات أخرى. لإبقاء صفحة خارج البحث، اسمح بالزحف إليها واستخدم وسم noindex.
معظم حوادث robots.txt تقع أثناء إطلاق تحديث، عندما تصل قواعد موقع تجريبي إلى الموقع الحقيقي. مراقبة التغييرات تفحص robots.txt وخريطة الموقع وتنبهك عند تغيرهما.
لا. يمنع الزحف. قد تُفهرس الصفحة المحظورة عبر الروابط. استخدم noindex لإبعادها.
يعتمد ذلك على رغبتك في أن يقرأ مساعدو الذكاء الاصطناعي صفحاتك ويقتبسوها. يوضح المختبر ما يقوله ملفك اليوم.
لدى Google تفوز القاعدة الأكثر تحديدا، وتفوز Allow عند التعادل. يوضح المختبر القاعدة الحاسمة.