मार्केट रिसर्च और competitor monitoring के लिए open-source tools

यह गाइड क्या बताता है

• तीनों tools में से हर एक क्या करता है, उसके अपने README और documentation के अनुसार
• हर tool के लिए पहला छोटा project, छोटे business के हिसाब से
• चलाने के लिए क्या चाहिए: Docker या Python, API keys, skills
• तुलना की table: tool, काम, ज़रूरतें, licence
• LICENSE files क्या कहती हैं, Crawl4AI की attribution वाली शर्त समेत
• Monitoring की छोटी साप्ताहिक routine, step by step
• AI research report कैसे जाँचें और data जुटाने की सीमाएँ

तीन tools, तीन अलग काम

GPT Researcher एक research agent है: आप सवाल पूछते हैं और citations के साथ लिखित report पाते हैं। Crawl4AI एक crawler है: आप addresses देते हैं और वे pages साफ़ Markdown या structured data के रूप में पाते हैं। changedetection.io एक monitor है: वह तय schedule पर page जाँचता है और बदलाव होने पर सूचना देता है।

तीनों GitHub पर प्रकाशित हैं और अपनी machine पर चलाए जा सकते हैं। 4 अक्टूबर 2026 को GitHub पर GPT Researcher के लगभग 30 हज़ार, Crawl4AI के लगभग 85 हज़ार और changedetection.io के लगभग 35 हज़ार stars थे। Stars रुचि दिखाते हैं, गुणवत्ता नहीं।

GPT Researcher: स्रोतों के साथ research का पहला draft

README में GPT Researcher को web और local research के लिए एक open deep research agent बताया गया है। एक planner आपके काम को research के सवालों में बाँटता है, दूसरे agents हर सवाल के लिए जानकारी जुटाते हैं, हर स्रोत का सार बनता है और उसका हिसाब रखा जाता है, और अंत में सब कुछ एक report में जोड़ा जाता है। यह web pages और आपकी अपनी files, जैसे PDF, Excel और Word, से काम करता है और report को PDF, Word और दूसरे formats में export करता है।

Default setup के लिए Python 3.12 या नया (या Docker), language model के लिए OpenAI key और web search के लिए Tavily key चाहिए। Documentation में दूसरे model providers भी दिए हैं, जिनमें Ollama के ज़रिए local models शामिल हैं, और DuckDuckGo और Searx जैसे दूसरे search engines भी; हर एक की अपनी key की शर्तें और सीमाएँ हैं। API के इस्तेमाल का bill providers अपनी दरों पर बनाते हैं।

पहला छोटा project: किसी ऐसे niche का overview माँगिए जिसे आप अच्छी तरह जानते हैं, जैसे आपके शहर में offices के लिए tiffin service, ताकि आप देख सकें कि report कहाँ कमज़ोर या ग़लत है। README इस project को experimental कहता है, इसे जैसा है वैसा देता है और कहता है कि लक्ष्य ग़लत और पक्षपाती तथ्यों को कम करना है, ख़त्म करना नहीं।

Crawl4AI: competitors के pages एक तुलना वाली table में

README के अनुसार Crawl4AI एक open-source crawler है जो pages को browser में खोलता है और साफ़ Markdown लौटाता है; इसके filters menus, footers और बाक़ी फ़ालतू हिस्से हटाते हैं। यह JavaScript चला सकता है और page को अंत तक scroll कर सकता है, जो उन stores के लिए ज़रूरी है जहाँ products scroll करने पर load होते हैं।

Structured data के लिए CSS या XPath schemas और regular expressions को language model नहीं चाहिए: आप बताते हैं कि page में नाम, price और delivery की शर्तें कहाँ हैं, और वही schema उस layout वाले हर page पर चलता है। Language model से extraction के लिए model की API key या local model चाहिए, और documentation कहता है कि model का output बदल सकता है या मनगढ़ंत हो सकता है, जबकि selectors ठीक वही करते हैं जो आप बताते हैं।

आपको Python 3.10 या नया और एक browser चाहिए, जिसे setup command install करता है। तीनों में यह सबसे technical है: किसी को छोटी Python script लिखनी होगी और browser के developer tools में CSS selectors ढूँढने होंगे। पहला छोटा project: competitors के दस product pages से एक जैसी columns वाली एक table बनाइए (product, price, pack size, delivery की शर्तें, data लेने की तारीख़)। तीन sites से शुरू कीजिए, क्योंकि हर layout को अपना schema चाहिए।

changedetection.io: जानना कि page कब बदला

changedetection.io आपके तय किए schedule पर web pages जाँचता है और, README के अनुसार, content बदलने पर email, Slack, Telegram, Discord, webhook या दूसरे channels से सूचना देता है। Product pages के लिए restock और price detection mode है, जिसमें price की सीमाएँ और बदलाव का प्रतिशत तय होता है। यह PDF files के text में बदलाव भी देखता है, जैसे price lists में।

Filters से आप CSS selector, XPath या visual selector के ज़रिए page के एक हिस्से पर नज़र रखते हैं और बाक़ी को अनदेखा करते हैं। Trigger conditions तभी सूचना देती हैं जब कोई keyword आए या हटे, या price आपकी तय रक़म को पार करे। जो pages अपना content JavaScript से बनाते हैं, उन्हें Chrome वाला fetcher चाहिए, और visual selector को भी।

Installation तीनों में सबसे आसान है: एक Docker command, या Python 3.11 या नए के साथ pip; फिर आप web interface में addresses paste करते हैं या Excel file से import करते हैं। पहला छोटा project: competitors के पाँच pages पर नज़र रखिए और हफ़्ते में एक बार बदलाव देखिए। वैकल्पिक AI summaries पकड़े गए बदलाव आपके जोड़े हुए model provider को भेजती हैं, और README चेतावनी देता है कि ऐसे output को कभी पूरा या सटीक नहीं मानना चाहिए।

Licences क्या अनुमति देते हैं, सरल शब्दों में

हर repository की root में एक LICENSE file है और GitHub तीनों को Apache-2.0 बताता है। Apache License 2.0 का text software की नक़ल करने, उस पर आधारित रचनाएँ बनाने और उन्हें बाँटने का स्थायी, विश्वव्यापी, बिना शुल्क और बिना royalty का अधिकार देता है। इसमें ऐसी कोई धारा नहीं है जो इसे केवल ग़ैर-व्यावसायिक इस्तेमाल तक सीमित करे।

Crawl4AI की LICENSE में Attribution Requirement नाम का हिस्सा जुड़ा है: software या उस पर आधारित काम के वितरण, प्रकाशन और सार्वजनिक इस्तेमाल में Crawl4AI project का नाम लेने वाली एक तय attribution line होनी चाहिए। changedetection.io की file standard text है, जिसमें authors की copyright line है; repository में अलग commercial licence file नहीं है, और README में paid hosted subscription और commercial support की पेशकश है।

Licence code पर लागू होता है, आपके जुटाए pages, जोड़े गए APIs या authors द्वारा बेचे जाने वाले hosted versions पर नहीं। व्यावसायिक इस्तेमाल से पहले हर LICENSE file पढ़िए; यह सार क़ानूनी सलाह नहीं है। जब आप software आगे देते हैं, बदला हुआ या जस का तस, तब Apache की ये शर्तें लागू होती हैं:

• पाने वालों को licence की एक copy दीजिए।
• जिन files को आपने बदला है उन पर यह साफ़ लिखिए।
• मौजूदा copyright, patent, trademark और attribution notices बनाए रखिए।
• Project के नाम और trademarks इस्तेमाल मत कीजिए, सिवाय यह बताने के कि software कहाँ से आया है।
• Software जैसा है वैसा मिलता है, बिना किसी warranty के, और contributors नुक़सान के लिए ज़िम्मेदार नहीं हैं।

Monitoring की एक छोटी साप्ताहिक routine

नज़र रखने का काम changedetection.io करता है और record एक साधारण spreadsheet में रहता है। Tool बताता है कि कुछ बदला है; उसका मतलब क्या है, यह आप तय करते हैं।

• Competitors के पाँच pages की सूची बनाइए और हर एक पर वह एक चीज़ जिस पर नज़र है: price, stock, delivery की शर्तें, offer, vacancies।
• हर page को watch के रूप में जोड़िए, उसे ज़रूरी block तक सीमित कीजिए और अंतराल तय कीजिए। दिन में एक या दो बार काफ़ी है, और दूसरी site पर बोझ भी कम रहता है।
• तय दिन पर list खोलिए और बदले हुए दिखाए गए हर page का difference view देखिए।
• हर बदलाव की पुष्टि असली page पर कीजिए। Redesign, cookie banner या घूमता हुआ block भी बदलाव जैसा दिख सकता है।
• हर असली बदलाव एक table में दर्ज कीजिए: तारीख़, competitor, page, पहले क्या था, अब क्या है, link।
• एक पंक्ति के साथ ख़त्म कीजिए: आप क्या करेंगे, या कि किसी कार्रवाई की ज़रूरत नहीं है।

AI research report को कैसे जाँचें

Generated report को स्रोतों का नक़्शा और पहला ख़ाका मानिए, निष्कर्ष नहीं। Model किसी कमज़ोर page का हवाला दे सकता है, जैसे बिना नाम का blog, और मज़बूत page को ग़लत पढ़ सकता है: ग़लत साल, ग़लत देश, अनुमान को नापा हुआ आँकड़ा बता देना। GPT Researcher का README कहता है कि project कई sites में सबसे ज़्यादा बार मिलने वाली जानकारी चुनता है। बार-बार मिलना सबूत नहीं है: बीस sites एक ही press release दोहरा सकती हैं।

हर उस आँकड़े को जाँचिए जिसे आप किसी फ़ैसले या प्रकाशन में इस्तेमाल करने वाले हैं:

• दिया गया link खोलिए और page पर ठीक वही संख्या ढूँढिए। अगर वह वहाँ नहीं है, तो उसे हटा दीजिए।
• इकाई, मुद्रा, साल और क्षेत्र जाँचिए। दुनिया का आँकड़ा आपके देश का आँकड़ा नहीं है।
• हवाले से मूल स्रोत तक जाइए: सांख्यिकी विभाग, company की report, price page।
• एक log रखिए: आँकड़ा, स्रोत का link, खोलने की तारीख़, स्थिति (पुष्ट, अलग है, नहीं मिला)।
• दूसरे run के लिए research को भरोसेमंद addresses या domains तक सीमित कीजिए; documentation में दोनों विकल्प बताए गए हैं।

Data जुटाते समय सीमाएँ और सावधानी

इनमें से कोई भी tool नहीं जानता कि प्रकाशित page सच है या ताज़ा। Crawler वही लाता है जो site दिखाती है, पुरानी price समेत। Monitor text में बदलाव बताता है, उसका कारण नहीं।

changedetection.io का README कहता है कि जिन sites पर आप नज़र रखते हैं उनकी terms of service, robots.txt और access policies का, और लागू क़ानून का पालन करना केवल आपकी ज़िम्मेदारी है। Crawl4AI में robots.txt की जाँच default रूप से बंद है, इसलिए उसे चालू कीजिए। आगे की बातें व्यावहारिक सावधानी हैं, क़ानूनी सलाह नहीं:

• पहले site की terms और robots.txt पढ़िए, जो sites automated access मना करती हैं उन्हें छोड़ दीजिए और frequency कम रखिए।
• Login या paywall के पीछे मत जाइए, भले ही tools में sessions और proxies की सुविधाएँ हों।
• Business के तथ्य लीजिए: prices, specifications, शर्तें। लोगों से जुड़े नाम, contacts और reviews छोड़ दीजिए। Personal data का क़ानून (EU में GDPR) सार्वजनिक data पर भी लागू हो सकता है।
• जुटाई गई सामग्री अपने विश्लेषण के लिए इस्तेमाल कीजिए। Competitor के text या photos दोबारा छापना copyright का अलग सवाल है।