Back to Question Center
0

क्या एक मकड़ी / लिंक चेकर है जो लॉगिन-संरक्षित साइट के अंदर गहराई से शुरू कर सकता है - मिमल

1 answers:

हम अपने दूरस्थ शिक्षा पाठ्यक्रमों के लिए विक्रेता की मेजबानी वाले ब्लैकबोर्ड का प्रयोग करते हैं, लेकिन हमारे अपने सर्वर पर मेजबान कोर्स मल्टीमीडिया का उपयोग करते हैं. मल्टीमीडिया सर्वर स्थानांतरित कर दिया गया है और डोमेन बदल गया है. ब्लैकबोर्ड डीबीए ने डीबी में लिंक अपडेट करने के लिए प्रश्न चलाए हैं, लेकिन हमें यह सुनिश्चित करने की जरूरत है कि उन्हें उन सभी को मिला. जांच के लिए सैकड़ों हजार लिंक हैं.

मुझे ब्लैकबोर्ड व्यवस्थापक में लॉग इन करने में सक्षम होने की आवश्यकता है, खोज परिणामों में लिंक पर लिंक चेकर चलाने से पहले कोर्स की सूची पर जाएं और पाठ्यक्रम सूची को खोलने के लिए खोज को निष्पादित करें - собака сани.

क्या ऐसा उत्पाद या सेवा है जो यह करता है? मैंने कभी सेलेनियम का इस्तेमाल नहीं किया है, लेकिन मुझे आश्चर्य है कि क्या एक स्क्रीप्टिंग समाधान अधिक उपयुक्त हो सकता है. सभी सलाह का स्वागत करते हैं.

February 12, 2018

हां, ऐसे क्रॉलर्स होते हैं जो एक साइट को क्रॉल कर सकते हैं जिसके लिए लॉगिन की आवश्यकता होती है. इसके लिए यह आवश्यक है कि आप अपने वेब ब्राउजर का उपयोग कर अपनी साइट में लॉग इन करें और अपने कुकीज़ निर्यात करें. फिर आप क्रॉलर को उस कुकी के साथ शुरू करते हैं, जो आपने लॉग इन करने के लिए इस्तेमाल किया था और क्रॉलर आपके लॉगिन उपयोगकर्ता के रूप में साइट को क्रॉल करता है.

अपने कुकीज़ निर्यात करने के लिए, निर्यात कुकीज ऐड-ऑन के साथ फ़ायरफ़ॉक्स का उपयोग करें. अपनी साइट में लॉग इन करें और फिर "टूल्स" -> "कुकीज निर्यात करें" का उपयोग करके अपनी कुकी निर्यात करें. फाइल को कुकीज़ के रूप में सहेजें. txt .

द wget कमांड लाइन क्रॉलर आपके कुकीज़ का उपयोग कर सकते हैं. क्रॉलिंग शुरू करने के लिए txt फ़ाइल.

  wget -r --load-cookies = कुकीज़. उदाहरण. com / 

wget वेबसाइट को स्थानीय रूप से एक निर्देशिका संरचना mysite जैसे बचाएगा. उदाहरण. com / पृष्ठों / सूचकांक. html आप स्थानीय रूप से सहेजी फ़ाइलों के विरुद्ध एक लिंक चेकर चला सकते हैं.