क्लाउडफ्लेयर ने पेरप्लेक्सिटी पर बॉट ब्लॉक को दरकिनार करने का आरोप लगाया; एआई फर्म ने किया खंडन

तकनीकी जगत में एक नया विवाद छिड़ गया है क्योंकि एक प्रमुख इंटरनेट इंफ्रास्ट्रक्चर प्रदाता, क्लाउडफ्लेयर ने एआई स्टार्टअप पेरप्लेक्सिटी पर भ्रामक वेब स्क्रैपिंग प्रथाओं में शामिल होने का आरोप लगाया है। कंपनी का आरोप है कि पेरप्लेक्सिटी ने उन वेबसाइटों से सामग्री एक्सेस की, जिन्होंने इस तरह की गतिविधियों को स्पष्ट रूप से प्रतिबंधित किया था, जिससे एक बार फिर एआई, डेटा एक्सेस और इंटरनेट नैतिकता की अस्पष्ट सीमाओं की ओर ध्यान आकर्षित हुआ है।

सोमवार को प्रकाशित एक ब्लॉग पोस्ट में, क्लाउडफ्लेयर ने दावा किया कि उसने पेरप्लेक्सिटी को उन साइटों से सामग्री स्क्रैप करते हुए पाया, जिन्होंने ऐसे बॉट को ब्लॉक करने के लिए अपनी robots.txt फ़ाइलों में नियम जोड़े थे। क्लाउडफ्लेयर के अनुसार, एआई फर्म ने कथित तौर पर अपने क्रॉलर की पहचान छिपाकर इन ब्लॉक को दरकिनार किया, जिसमें अपने उपयोगकर्ता-एजेंट स्ट्रिंग्स को बदलने और पता लगाने से बचने के लिए कई आईपी एड्रेस का उपयोग करने जैसी रणनीतियाँ शामिल थीं।

ब्लॉग पोस्ट में कहा गया है, "यह गतिविधि हज़ारों डोमेन और प्रतिदिन लाखों अनुरोधों में देखी गई।" क्लाउडफ्लेयर ने कहा कि उसने इस गतिविधि के स्रोत के रूप में Perplexity की पहचान करने के लिए मशीन लर्निंग टूल्स और ट्रैफ़िक विश्लेषण के संयोजन का उपयोग किया। उसने आगे कहा कि कुछ अनुरोधों में macOS पर Google Chrome सहित वैध ब्राउज़रों का प्रतिरूपण किया गया था।

क्लाउडफ्लेयर ने कहा कि यह स्क्रैपिंग उसके ध्यान में तब आई जब उसके कई ग्राहकों ने Perplexity से आने वाले संदिग्ध ट्रैफ़िक की सूचना दी, जबकि इसे रोकने के कई प्रयास किए गए थे। इसके जवाब में, क्लाउडफ्लेयर ने अब Perplexity के बॉट्स को अपनी सत्यापित क्रॉलर सूची से हटा दिया है और भविष्य में इसी तरह की गतिविधि को रोकने के लिए अतिरिक्त उपाय शुरू किए हैं।

Perplexity ने आरोपों का पुरज़ोर खंडन किया है और एक विस्तृत खंडन में इसका खंडन किया है। एआई स्टार्टअप ने इन दावों को "बिक्री का प्रलोभन" बताकर खारिज कर दिया और तर्क दिया कि क्लाउडफ्लेयर का ब्लॉग पोस्ट एआई असिस्टेंट के काम करने के तरीके के बारे में एक बुनियादी गलतफहमी को दर्शाता है।

कंपनी ने कहा, "जब Perplexity किसी वेबपेज को प्राप्त करता है, तो ऐसा इसलिए होता है क्योंकि किसी उपयोगकर्ता ने कोई विशिष्ट प्रश्न पूछा था।" इसने ज़ोर देकर कहा कि इसका AI प्लेटफ़ॉर्म पारंपरिक वेब क्रॉलिंग या बड़े पैमाने पर डेटा हार्वेस्टिंग में संलग्न नहीं है। इसके बजाय, इसने दावा किया कि इसका सिस्टम केवल उपयोगकर्ता के प्रश्नों के आधार पर ही रीयल-टाइम जानकारी प्राप्त करता है और उस सामग्री को अपने AI मॉडल को प्रशिक्षित करने के लिए संग्रहीत या उपयोग नहीं करता है।

अपना बचाव करते हुए, Perplexity ने कहा कि Cloudflare ने कुछ स्वचालित ट्रैफ़िक को ग़लती से अपने सिस्टम पर आरोपित कर दिया था। इसने एक तृतीय-पक्ष सेवा, BrowserBase, का हवाला देते हुए सुझाव दिया कि संबंधित अनुरोधों का केवल एक छोटा सा हिस्सा ही वहाँ से आया था। "यह एक बुनियादी ट्रैफ़िक विश्लेषण विफलता है," Perplexity ने तर्क दिया और Cloudflare पर भ्रामक डेटा और आरेख प्रस्तुत करने का आरोप लगाया।

यह विवाद ऐसे समय में सामने आया है जब उपयोगी एआई टूल्स और अनधिकृत बॉट्स के बीच की रेखाएँ तेज़ी से धुंधली होती जा रही हैं। जैसे-जैसे ज़्यादा एआई एप्लिकेशन रीयल-टाइम डेटा पर निर्भर होते जा रहे हैं, वेबसाइट संचालकों के बीच इस बात को लेकर चिंताएँ बढ़ रही हैं कि उनकी सामग्री तक कैसे पहुँचा और उसका उपयोग किया जाता है।

हालांकि क्लाउडफ्लेयर ने अभी तक पेरप्लेक्सिटी के खंडन का अनुवर्ती जवाब जारी नहीं किया है, लेकिन इस टकराव ने नैतिक वेब स्क्रैपिंग, एआई पारदर्शिता और डिजिटल सामग्री तक पहुँच के लिए मानकीकृत दिशानिर्देशों की तत्काल आवश्यकता पर व्यापक चर्चाओं को हवा दे दी है।

दोनों कंपनियों के अपने-अपने रुख पर अड़े रहने के कारण, यह घटना ओपन वेब के समर्थकों और एआई युग में सख्त सामग्री नियंत्रण की मांग करने वालों के बीच चल रहे संघर्ष में एक निर्णायक मुद्दा बन सकती है।