AI से संचालित
एक robots.txt टेस्टर जो साइट के नियम और साइटमैप पढ़ता है और जाँचता है कि सर्च इंजन और AI क्रॉलर कोई पता पढ़ सकते हैं या नहीं।
उपलब्धइस्तेमाल के लिए तैयार।
टूल खोलें| क्रॉलर | पता | नतीजा |
|---|---|---|
| Googlebot | /blog/post | अनुमति |
| Googlebot | /search?q=x | रोका गया |
| GPTBot | /blog/post | रोका गया |
AI हर नियम आसान शब्दों में समझाता है। पता अनुमति में है या नहीं, यह वही मिलान नियम तय करते हैं जो सर्च इंजन इस्तेमाल करते हैं।
फ़ाइल लाई जाती है और उसके नियम क्रॉलर के हिसाब से बाँटे जाते हैं।
robots.txt में बताए गए या सामान्य पते वाले साइटमैप पढ़े जाते हैं।
आपका पता हर क्रॉलर के नियमों से मिलाया जाता है।
किस नियम ने फ़ैसला किया, और क्या बदलना है।
robots.txt साइट की रूट पर एक छोटी टेक्स्ट फ़ाइल है जो क्रॉलर को बताती है कि वे कौन से हिस्से माँग सकते हैं। robots.txt टेस्टर यह फ़ाइल पढ़ता है और जाँचता है कि कोई पता किसी क्रॉलर, जैसे Googlebot या किसी AI क्रॉलर, के लिए अनुमति में है या नहीं।
एक गलत लाइन सर्च से पूरा सेक्शन छिपा सकती है, इसलिए किसी बदलाव से पहले और बाद में टेस्ट करना एक मिनट के लायक है।
यह नियम क्रॉलर के हिसाब से बाँटता है, गलत लाइनें बताता है, और ऐसे नियम खोजता है जो पेज दिखाने के लिए ज़रूरी CSS या स्क्रिप्ट रोकते हैं। आप कोई भी पता सर्च क्रॉलर और GPTBot, ClaudeBot और PerplexityBot जैसे AI क्रॉलर के लिए जाँच सकते हैं।
यह फ़ाइल में बताए साइटमैप भी पढ़ता है, उनके पते गिनता है, और फेल होने वाले या robots.txt से रुके पते पकड़ता है।
robots.txt क्रॉलिंग नियंत्रित करती है, इंडेक्सिंग नहीं। रोका गया पेज भी सर्च में दिख सकता है अगर दूसरे पेज उस पर लिंक करें। किसी पेज को सर्च से बाहर रखने के लिए उसे क्रॉल होने दें और noindex टैग इस्तेमाल करें।
robots.txt की ज़्यादातर गड़बड़ियाँ किसी रिलीज़ में होती हैं, जब टेस्ट साइट के नियम असली साइट पर पहुँच जाते हैं। चेंज मॉनिटर robots.txt और साइटमैप जाँचता है और बदलने पर बताता है।
नहीं। यह क्रॉलिंग रोकती है। रोका गया पेज लिंक से इंडेक्स हो सकता है। उसे बाहर रखने के लिए noindex इस्तेमाल करें।
यह इस पर निर्भर है कि आप चाहते हैं कि AI असिस्टेंट आपके पेज पढ़ें और उद्धृत करें या नहीं। टेस्टर दिखाता है कि आज आपकी फ़ाइल क्या कहती है।
Google के लिए सबसे सटीक नियम जीतता है, और बराबरी पर Allow जीतता है। टेस्टर बताता है कि किस नियम ने फ़ैसला किया।