Robots.txt क्या है | कैसे Use करें | कैसे बनाये

Robot.txt File Kya Hai: नमस्ते दोस्तों आज के पोस्ट में हम बात करते है की Robot.txt file क्या है / किस तरीके से काम करती है, कैसे इसे बनाते हैं, इसको नहीं Use करें तो क्या फर्क पड़ेगा और SEO के point of view से कितनी important है।

आप नए Blogger हैं नई website बनाई है। तो आपके सामने Robots.txt File का नाम आया होगा। तो आपको इसके बारे में पता होना चाहिये। तो चलिये इसके बारे में थोड़ा सा जानते है।

Robots.txt का मतलब

सबसे पहले समझते हैं की Robot . txt का मतलब क्या है। सबसे पहली बात ये एक फाइल है और इसमें जो extension [ .txt ] ये Use हुआ है। हम आम तोर पर जैसे Notepad में कुछ लिखते हैं और फिर उसको हम Save करते हैं तो वो फाइल जिस extension में save होती है वो- [ .txt ] extension होता है।

जब हम Robots.txt फाइल बनाते हैं तो इस फाइल में कुछ instruction होते हैं, Crawler के लिए । Search Engine के crawler को ये बताने के लिए की crawler को कोनसे page को crawl करना और कोनसे पेज को crawl नहीं करना।

रोबोट्स.txt की मूल बातें समझना

हाँ दोस्तों Robots.txt की मूल ( Basic ) बाते देखते है!!

आप robots.txt के बेसिक्स को समझना चाहते है तो यह उस गुप्त कोड को सीखने जैसा है जो सर्च इंजनों को बताता है कि आपकी वेबसाइट या ब्लॉग के किन हिस्सों को एक्सप्लोर करना है और किसे छोड़ना है। एक तरीके से यह आपका डिजिटल बाउंसर है, जो आपके ऑनलाइन स्थान तक पहुंच को नियंत्रित करता है और आपकी साइट के माध्यम से खोज इंजन जैसे Google etc क्रॉलर्स को उनकी यात्रा में मार्गदर्शन करता है।

इस File की परिभाषा को तोड़ना

Definition भी यही है क्यों आपका Time खराब करना। 

आप देखिये की , ये txt फाइल बोट्स के लिए निर्देश का एक सेट है। robots.txt फाइलें अधिकतर जो वेब क्रॉलर होते है उनकी गतिविधियों को मैनेज (manage) करते है।

**robots.txt के अर्थ को सरल बनाना

इस रोबोट.txt फ़ाइल से सर्च इंजन के क्रॉलर होते है उनको यह निर्देश या जानकारी मिलती है। जिससे क्रॉलर आपकी साइट के किन किन यूआरएल को ऐक्सेस कर सकता है. इसके अलावा फ़ाइल को काम में ले ताकि आपकी साइट पर अनुरोधों का लोड ज़्यादा हो ना जाये।

यह file क्यों बनाई जाती है ?

ये सवाल आपके मन में आएगा-
ये क्या बात हुई जब हमने Blogging शुरू की तो, हमे ये बताया गया की हमे अपनी वेबसाइट के सारे pages को search engine के Crawler से crawl करवाना है ताकि Crawler अच्छे से हमारी वेबसाइट के page को crawl करे और हमारी वेबसाइट या ब्लॉग पर पेज को समझ सके और उसे अच्छे से index कर सके।

अब ये Robot.txt क्या आ गया जिससे हम Crawler को instruction दे रहे है जिससे हमारी वेबसाइट के कुछ webpage को crawl करे और कुछ को crawl ना करे।

अब ये कोनसी condition आ गयी जिससे ये सब करना पड रहा है। हम क्यों ऐसा करे, की कुछ पेज को क्रॉल कर कर रहे है और कुछ को नहीं।
क्या ऐसी condition होती है – तो हाँ ऐसी कुछ condition है।

जब भी क्रॉलर जब भी हमारी वेबसाइट पर आएगा, तो उस क्रॉलर के पास एक crawl Budget होता है। Crawl Budget इसको समझे तो – आसान भाषा में Crawl Budget एक Time आप समझ लीजिए, की Crawler हमारी Website पर कितना Time लगाएगा।

अगर आपकी वेबसाइट बहुत अच्छी है, बहुत Content है, बहुत ज्यादा popular है तो इस केस में आपका Crawl Budget बहुत जायदा होगा। दूसरी तरफ अगर मेरी वेबसाइट छोटी है पॉपुलर नहीं है तो Crawl Budget कम होगा।

अब इसी Time में Crawler को हमारी वेबसाइट के पेज को क्रॉल करना है। इससे हमारी वेबसाइट की रैंकिंग पर असर पड़ता है।
इसी के लिए Robots.txt फाइल बनाई जाती है।

Robots.txt File बनाने से हम ये बता सकेंगे की उसे कोनसे पेज को crawl नहीं करना है। जिससे उसका Time बचेगा और उसमे वो जो जरूरी पेज है उनको index कर लेगा।