robots.txt के नियम लिखें, फिर ठीक-ठीक देखें कि वे क्या ब्लॉक करते हैं
यह robots.txt generator यूज़र एजेंट के ग्रुप और Allow/Disallow नियमों से फ़ाइल बनाता है, आपका sitemap जोड़ता है, और AI ट्रेनिंग क्रॉलर ब्लॉक करने या स्टैंडर्ड WordPress फ़ाइल जैसे तैयार सेटअप एक क्लिक में लागू करता है। फिर tester उस सवाल का जवाब देता है जो असल में मायने रखता है: क्या यह URL इस क्रॉलर के लिए allowed है, और कौन-सी लाइन यह तय करती है? यह RFC 9309 और Google के डॉक्यूमेंटेड व्यवहार को फ़ॉलो करता है — सबसे specific user-agent ग्रुप, सबसे लंबा मैच होने वाला पाथ, बराबरी पर Allow की जीत, और * और $ वाइल्डकार्ड — और टाइप करते समय ही गलतियाँ दिखा देता है। सब कुछ आपके ब्राउज़र में चलता है।
robots.txt कैसे बनाएँ और टेस्ट करें
- 1किसी प्रीसेट से शुरू करें — सबको अनुमति, AI क्रॉलर ब्लॉक करें, WordPress, SEO टूल ब्लॉक करें या सबको ब्लॉक करें — या सीधे ग्रुप एडिट करें।
- 2हर ग्रुप में वे यूज़र एजेंट लिखें जिन पर वह लागू होता है (
*का मतलब हर क्रॉलर) और/admin/या/*.pdf$जैसे Disallow और Allow पाथ जोड़ें। - 3अपने XML sitemap का absolute URL जोड़ें, आउटपुट के नीचे की चेतावनियाँ देखें, फिर
robots.txtकॉपी या डाउनलोड करें। - 4टेस्ट पर जाएँ, क्रॉलर का नाम और हर लाइन में एक URL डालें, और हर URL का नतीजा उस नियम और ग्रुप के साथ देखें जिसने उसे तय किया। किसी भी लाइव robots.txt को वहाँ पेस्ट करके उसकी जाँच करें।
- 5फ़ाइल को अपने होस्ट के root में अपलोड करें, ताकि वह
https://yourdomain.com/robots.txtपर मिले।
robots.txt कैसे काम करता है
किसी साइट को क्रॉल करने से पहले, नियम मानने वाला क्रॉलर होस्ट के root से /robots.txt लाता है और अपने लिए लिखे नियम ढूँढता है। फ़ाइल ग्रुप की एक सूची होती है: एक या ज़्यादा User-agent लाइनें, जिनके बाद Allow और Disallow नियम आते हैं। Sitemap लाइनें ग्रुप से बाहर होती हैं और सब पर लागू होती हैं।
हर प्रोटोकॉल, होस्ट और पोर्ट का अपना robots.txt होता है: https://example.com/robots.txt के नियम https://shop.example.com या http://example.com पर लागू नहीं होते। फ़ाइल न होने (404) का मतलब है कि सब कुछ क्रॉल किया जा सकता है; सर्वर एरर आने पर Google साइट की क्रॉलिंग रोक देता है।
मैचिंग के नियम, सटीक रूप में
- ग्रुप चुनना
- क्रॉलर सिर्फ़ उसी ग्रुप को मानता है जिसका user-agent उसे सबसे specific तरीके से नाम देता है, और मैचिंग case-insensitive होती है — Googlebot-Image पहले Googlebot-Image ग्रुप इस्तेमाल करता है अगर वह मौजूद हो, नहीं तो Googlebot ग्रुप, नहीं तो *। एक ही एजेंट का नाम लेने वाले ग्रुप मर्ज हो जाते हैं। * ग्रुप के नियम किसी नामित ग्रुप में नहीं जुड़ते।
- सबसे लंबा मैच जीतता है
- ग्रुप के अंदर, वह नियम फ़ैसला करता है जिसका पाथ URL पाथ के सबसे ज़्यादा अक्षरों से मैच होता है। Disallow: /shop के साथ Allow: /shop/sale होने पर /shop/sale/shoes allowed है।
- बराबरी पर Allow
- अगर एक Allow और एक Disallow नियम बराबर लंबाई से मैच हों, तो URL allowed होता है।
- * और $
- * कैरेक्टर के किसी भी क्रम से मैच करता है, और अंत में $ पैटर्न को URL के अंत से बाँध देता है: Disallow: /*.pdf$ /files/report.pdf को ब्लॉक करता है, लेकिन /report.pdf?download=1 को नहीं।
- पाथ prefix होते हैं
- Disallow: /admin, /admin, /admin/ और /administrator तीनों को ब्लॉक करता है। सिर्फ़ फ़ोल्डर ब्लॉक करने के लिए अंत में स्लैश लगाएँ। नियम पाथ और query string से case-sensitive तरीके से मैच होते हैं।
- खाली Disallow
- बिना पाथ का Disallow: सब कुछ allow करता है; कुछ भी ब्लॉक न करने वाला ग्रुप लिखने का यही आम तरीका है।
AI क्रॉलर ब्लॉक करना
AI कंपनियाँ अपने क्रॉलर के user-agent टोकन प्रकाशित करती हैं ताकि साइट मालिक opt out कर सकें। AI क्रॉलर ब्लॉक करें प्रीसेट GPTBot, ChatGPT-User और OAI-SearchBot (OpenAI), ClaudeBot, Claude-User, Claude-SearchBot और anthropic-ai (Anthropic), Google-Extended (Gemini ट्रेनिंग), Applebot-Extended, CCBot (Common Crawl), PerplexityBot, Bytespider (ByteDance), meta-externalagent (Meta), Amazonbot और दूसरों को disallow करता है, जबकि सामान्य सर्च इंजन क्रॉल करने के लिए आज़ाद रहते हैं।
Google-Extended और Applebot-Extended अलग क्रॉलर नहीं बल्कि कंट्रोल टोकन हैं: इन्हें ब्लॉक करने से आपका कंटेंट Gemini और Apple Intelligence की ट्रेनिंग से बाहर रहता है, और Google Search या Applebot की सर्च क्रॉलिंग पर कोई असर नहीं पड़ता। ध्यान दें कि OAI-SearchBot और Claude-SearchBot जैसे सर्च वाले बॉट AI सर्च जवाबों में citations देते हैं; अगर आप वहाँ दिखना चाहते हैं तो उन्हें सूची से हटा दें। नियम मानना स्वैच्छिक है, इसलिए robots.txt को अनदेखा करने वाले क्रॉलर के लिए सर्वर या फ़ायरवॉल नियम इस्तेमाल करें।
robots.txt क्या नहीं कर सकता
robots.txt क्रॉलिंग को कंट्रोल करता है, इंडेक्सिंग को नहीं। disallowed URL भी Google के नतीजों में — बिना डिस्क्रिप्शन के — दिख सकता है अगर दूसरे पेज उससे लिंक करते हों। किसी पेज को सर्च नतीजों से बाहर रखने के लिए क्रॉलिंग allow करें और noindex robots meta tag या X-Robots-Tag हेडर जोड़ें; Google 2019 से robots.txt की Noindex: लाइनों को अनदेखा करता है। टैग meta tag generator से बनाएँ।
निजी हिस्सों को छिपाने के लिए robots.txt का इस्तेमाल न करें: फ़ाइल पब्लिक होती है और ठीक वही पाथ दिखाती है जिन्हें आप नहीं चाहते कि लोग ढूँढें। उन्हें authentication से सुरक्षित करें। और उन CSS और JavaScript फ़ाइलों को ब्लॉक न करें जिनकी पेज को रेंडर होने के लिए ज़रूरत है, वरना Google पेज को वैसे नहीं देख पाएगा जैसे विज़िटर देखते हैं।
Crawl-delay, Host और दूसरे directives
Crawl-delay क्रॉलर से हर रिक्वेस्ट के बीच कुछ सेकंड रुकने को कहता है। Bing और Yandex इसे मानते हैं; Google इसे अनदेखा करता है और आपके सर्वर के जवाबों के हिसाब से अपनी क्रॉल रेट खुद तय करता है। Host पसंदीदा mirror के लिए सिर्फ़ Yandex का directive था और अब पुराना हो चुका है। Google robots.txt फ़ाइल के ज़्यादा से ज़्यादा 500 KiB पढ़ता है।
absolute URL वाली एक या ज़्यादा Sitemap: लाइनों से क्रॉलर को अपने XML sitemap तक भेजें; ये फ़ाइल में कहीं भी हो सकती हैं। sitemap खुद sitemap generator से बनाएँ।
अक्सर पूछे जाने वाले सवाल
- robots.txt कहाँ रखें?
- होस्ट के root में, ताकि वह https://example.com/robots.txt पर मिले। किसी सबफ़ोल्डर में रखा robots.txt अनदेखा हो जाता है, और हर सबडोमेन को अपनी फ़ाइल चाहिए।
- सभी क्रॉलर को कैसे ब्लॉक करें?
- User-agent: * के बाद Disallow: / लिखें। robots.txt मानने वाले क्रॉलर पेज लाना बंद कर देंगे, हालाँकि पहले से जाने-पहचाने URL कुछ समय तक सर्च नतीजों में रह सकते हैं।
- GPTBot और दूसरे AI क्रॉलर को कैसे ब्लॉक करें?
- उनके यूज़र एजेंट — GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot वगैरह — की सूची वाला एक ग्रुप Disallow: / के साथ जोड़ें। AI क्रॉलर ब्लॉक करें प्रीसेट यह ग्रुप आपके लिए लिख देता है और सर्च इंजन को allowed रखता है।
- क्या Disallow पेज को Google से हटा देता है?
- नहीं। यह क्रॉलिंग रोकता है, लेकिन URL लिंक के ज़रिए फिर भी इंडेक्स हो सकता है। उसे नतीजों से बाहर रखने के लिए क्रॉल किए जा सकने वाले पेज पर noindex meta tag लगाएँ, या Search Console से हटाएँ।
- Allow और Disallow दोनों मैच हों तो कौन-सा नियम जीतता है?
- जिसका पाथ लंबा हो। अगर दोनों की लंबाई बराबर हो तो Allow जीतता है। tester दिखाता है कि हर URL किस लाइन ने तय किया।
- क्या robots.txt case-sensitive है?
- directive के नाम और user-agent वैल्यू नहीं, लेकिन पाथ हैं: Disallow: /Admin, /admin को ब्लॉक नहीं करता। फ़ाइल का नाम खुद lowercase में robots.txt होना चाहिए।
- क्या Google Crawl-delay सपोर्ट करता है?
- नहीं। Google Crawl-delay को अनदेखा करता है और आपके सर्वर के जवाब के हिसाब से क्रॉल रेट तय करता है। Bing और Yandex इसे मानते हैं।
- क्या मेरा robots.txt कहीं अपलोड होता है?
- नहीं। बनाना, पार्स करना और टेस्ट करना सब आपके ब्राउज़र में होता है।