WEBSITE SECURITY के लिए BAD BOTS को BLOCK कैसे करे ?

क्या आपको पता है, कि आप जो वेबसाइट बनाते है, आपकी उस वेबसाइट पर इंसानों से ज्यादा इंटरनेट के BOTS विजिट करते है और इसमें से कुछ BOTS अच्छे भी होते है और कुछ बुरे भी होते है।

जो बुरे BOTS होते है, वो आपके वेबसाइट के SEO यानी (SEARCH ENGINE OPTIMISATION) को डाउन भी करते है। जिससे आपकी वेबसाइट की रैंक कम होती जाती है।

आज हम बात करेंगे कि BAD BOTS किस तरह से हमारी वेबसाइट के SEO को प्रभावित करते है। और इसको हम बंद कैसे कर सकते है।

ये BAD BOTS इतने बुरे होते हैं, कि आपकी वेबसाइट की रैंकिंग को भी नीचे ला सकती है। और भी कई प्रकार की हानि आपकी वेबसाइट को पहुंचा सकती है।

3 Steps To Find And Block Bad Bots, Block Bad Bots - New Security Feature from KeyCDN, Detecting and blocking bad bots, How to Prevent Hackers from Using Bad Bots, How to Block Bad Website Bots and Spiders With .htaccess, website ke bad bots ko block kaise kare, kamal how, kamalhow, how to stop bots from crawling my site, how to block bots from my website, apache ultimate-bad bot-blocker, bad bot access attempt, hindi technology
BLOCK BAD BOTS

जिस तरह सभी SEARCH ENGINES वेबसाइट को CRAWL करने के लिए BOTS का इस्तेमाल करते है। उसी प्रकार जो HACKERS होते है, वो SITE INFRASTRUCTURES के लिए BOTS का उपयोग करते है।

BAD BOTS क्या है ?

इंटरनेट BOTS एक SOFTWARE APPLICATON होते है। जो इंटरनेट पर AUTOMATIC कार्य को करते है। इनको कई नाम से बुलाया जाता है। जैसे : SIMPLY BOTS, ROBOT, WEB ROBOTS, ONLINE BOTS इत्यादि भी कहा जाता है।

ये जो BOTS होते है। ये ज्यादातर हमारे आसान कामों को करते है, जिसमे हमारा अधिक समय बर्बाद और काम करने में मुश्किलें आती है। जैसे कि बहुत सारी वेबसाइट और WEB CRAWL करना।

जितने भी प्रकार के SEARCH ENGINES होते है। वो SEARCH INDEX को DEVELOP करने के लिए और DATA COLLECT करने के लिए BOTS का इस्तेमाल करते है। और सभी HACKERS भी MALICIOUS के लिए BOTS का ही सहारा लेते है।

इनके दो प्रकार है। 
  • GOOD OR SEO BOTS 
  • BAD OR MALICIOUS BOTS
GOOD और SEO BOTS वो होते है, जो वेबसाइट को SEARCH ENGINE के लिस्ट में लेकर आता है। और विजिटर द्वारा खोजे जाने पर जरूरत की वेबसाइट दिखाने में भी मदद करता है।

BAD BOTS नाम से ही पता चल रहा है कि कोई गलत कार्य को बढ़ावा देने वाला है। यह हैकर्स या फिर COMPETITION द्वारा AUTOMATIC किये गए हमले को शुरू करने के लिए बनाये गए होते है। BAD BOTS आपकी कला और आपकी निजी जानकारी और अन्य चीज़ें चुराते है, और SPAMMING को भी निमंत्रण देते है।

BAD BOTS हमारे वेबसाइट को कैसे नुक्सान पहुंचता है ?

WEB SCRAPING : यह हमारे कंटेंट को चोरी करके दूसरे अन्य WEBSITES पर नक़ल बनाने में मदद करता है।

ये आपके WEBSITES से CONTENT चोरी करते है, और फिर जिससे चोरी करते है, उसी के कंटेंट को डुप्लीकेट यानी नकली साबित कर देते है।


FORM SPAMMING :  यह FORM, SPAM BOTS एक WEBSITE पर फ़र्ज़ी लीड के साथ वेबसाइट को कम करने के लिए और FORM जमा करने के लिए बनाया जाता है।  

PRICE SCRAPING : PRICE SCRAP BOTS आपकी वेबसाइट के PRICE को देखकर उसको कम करके अपनी वेबसाइट पर BUSINESS करने की कोशिश करते है।

इस BOTS को आपके मूल्य डाटा और जो आपने किसी चीज़ का मूल्य निर्धारित किया है, उसमे बदलाव करने के लिए बनाया जाता है। वैसे ये आपके COMPETITOR के मूल्य निर्धारण पर नज़र रखने के लिए है।


SKEWED ANALYTICS : यह कुछ मुख्या WEBSITE के ANALYTICS को प्रभावित करने के लिए बनाये जाते है। यह BOTS, IT, MARKETING और ANALYSIS TEAM के काम में बाधाएं उत्पन्न करते है। ये ज्यादातर बड़े BUSINESS WEBSITES को प्रभावित करते है। और उनकी ANALYTICS रिपोर्ट को खराब करके व्यापार के मैट्रिक्स को गिराते है।


AUTOMATED ATTACKS : ये BOTS अलग-अलग तरह से ऑटो आक्रमण करने के लिए बनाया जाता है। ये वेबसाइट के ब्रांड्स पर WEB SECURITY रिस्क को बढ़ाता है। 


इसकी वजह से वेबसाइट का SEARCH होने पर जो ट्रैफिक आता है, वो गिर जाता है। और हमारी वेबसाइट को ACCOUNT TAKEOVER, CREDENTIAL STUFFING और INVENTORY EXHAUSTION आदि की परेशानी होती है।  

बुरे BOTS का पता कैसे लगाए ?

BAD BOTS को पहचानने के लिए आप सभी को CLOUDWAYS जैसे HOSTING का उपयोग करना होगा। जो MONITORING SERVICE प्रदान करती है। 

साथ में इसके आप अगर CLOUDFLARE जैसे CDN SERVICE इस्तेमाल करते है। ये USER AGENTS, PATHS आदि के REPORTS दिखाता है।

इसके USER AGENT के सेक्शन में आपको ROBOTS का पता चल जाएगा। आप इसमें से BAD BOTS का पता करके ब्लॉक कर सकते है।

अगर आप गूगल में BAD BOTS LIST खोज करोगे। तो आपको प्रसिद्ध BAD BOTS की लिस्ट दिख जाएगी। पर हमारी वेबसाइट पर कौन से तरह के BOTS हमला कर रहे है। इसके लिए ANALYSIS वाला तरीका अधिक कामयाब है।


बुरे BOTS को BLOCK कैसे करे ?

अब तक हमने जाना कि किस तरह से BAD BOTS हमारी वेबसाइट को EFFECT करते हैं। और यही BAD BOTS के हमले से बचने के लिए आपको इसको ब्लॉक करना होगा।

ज्यादातर हम लोग इस चीज़ के लिए ROBOTS.TXT का उपयोग करते है। पर इसको ब्लॉक करने के कई सारे तरीके है, जिसकी जानकारी आपको मै निचे बता रहा हूँ।


BLOCK BAD BOTS BY ORIGIN SERVER

आप WEB SERVER की मदद से BAD BOTS को ब्लॉक कर सकते है। यहां पर आप सभी को HTACCESS, APACHE, NGINX दोनों वेब सर्वर के तरीके बता देता हूँ।

BLOCK BAD BOTS BY HTACCESS
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(agent1|Cheesebot|Catall Spider).*$ [NC]
RewriteRule .* - [F,L]

या फिर आप BROWSER MATCH NO CASE का उपयोग कर सकते है।
BrowserMatchNoCase "agent1" bots
BrowserMatchNoCase "Cheesebot" bots
BrowserMatchNoCase "Catall Spider" bots

Order Allow,Deny
Allow from ALL
Deny from env=bots

ब्लॉक BAD BOTS BY NGINX
if ($http_user_agent ~ (agent1|Cheesebot|Catall Spider) ) {
return 403;
}

BLOCK BAD BOTS BY CDN

आप अगर CLOUDFLARE और KEYCDN जैसे CONTENT DELIVERY NETWORK का उपयोग करते है। तो आप इसकी मदद से भी BAD BOTS को BLOCK कर सकते है।

CLOUDFLARE पर इसके लिए इन FIREWALL RULE का उपयोग करना होगा।


CLOUDFLARE FIREWALL >> FIREWALL RULES पर क्लिक करें। और फिर CREATE A FIREWALL RULE पर CLICK करें। और फिर इस तरीके से RULE CREATE करें। 


  • FIELD : USER AGENT
  • OPERATOR : CONTAINS
  • VALUE : BOTS NAME 
फिर ACTION में BLOCK को SELECT करके SAVE पर CLICK कर देना है। जैसे कि अगर आपको SEMRUSH BOT को ब्लॉक करना है, तो आपको SEMRUSH BOT ADD करना है।

अगर आप चाहो तो इन EXPRESSION CODE का इस्तेमाल कर सकते हो।


(http.user_agent contains "SemrushBot")

BLOCK BAD BOTS BY ROBOTS.TXT


BAD BOTS को बंद करने का ये सबसे आसान उपाय है। ज्यादातर लोग इसी का इस्तेमाल करते है। आपको इसको करने के लिए USER AGENT का इस्तेमाल करना है।


User-agent: bots name
Disallow: /

अगर आपको जैसे SEMRUSH BOT को BLOCK करना है। तब आप इस प्रकार इसका इस्तेमाल करोगे। 


User-agent: semrushbot
Disallow: /

इसी पर्किर्या के द्वारा आप किसी भी BAD BOTS को ROBOTS.TXT के जरिये BLOCK यानी बंद कर सकते हो।


तो इस तरह से आप BAD BOTS को BLOCK कर सकते हो। और अपनी वेबसाइट की SEO RANKING को गिरने से रोक सकते हो।


आशा करता हूँ कि आपको BAD BOTS को BLOCK करना आ गया होगा।


आपका कीमती समय देने के लिए धन्यवाद। 

Post a comment

0 Comments