NotebookLM क्या है? TechDisha ने खुद इस्तेमाल करके किया Practical Test
|
| NotebookLM का Practical Test करते हुए TechDisha ने Source Document के आधार पर AI के जवाबों को जांचा। Source: TechDisha |
AI tools से जवाब लेना आज काफी आसान हो गया है, लेकिन जब किसी AI को सिर्फ एक खास document के आधार पर जवाब देने को कहा जाए तो असली सवाल उसकी source-based accuracy का होता है।
इसी चीज को check करने के लिए मैंने Google NotebookLM में TechDisha के लिए एक अलग practical test तैयार किया। इसमें मैंने एक छोटा source document बनाया और उसमें जानबूझकर कुछ अलग-अलग test data रखा, ताकि यह देखा जा सके कि NotebookLM source में मौजूद जानकारी को कितनी सही तरह से पहचानता है और source में जानकारी न होने पर क्या करता है।
इस practical test में मैंने Test Number, Secret Word, अलग-अलग products की कीमतें, price comparison और ऐसी information भी पूछी जो source document में मौजूद ही नहीं थी।
- NotebookLM का Practical Test क्यों किया?
- मैंने NotebookLM का Test कैसे किया?
- Test 1: Source Summary
- Test 2: Test Number
- Test 3: Product Prices
- Test 4: Secret Word
- Test 5: Price Comparison
- Test 6: Missing Information
- Test 7: Product F
- Practical Test का Result
- क्या NotebookLM हमेशा 100% सही जवाब देगा?
- क्या यह Test Real-World Use में काम आ सकता है?
- NotebookLM Practical Test: मेरा Verdict
- FAQs
NotebookLM का यह Practical Test क्यों किया?
NotebookLM का इस्तेमाल अक्सर documents, notes और research material को समझने के लिए किया जाता है। लेकिन किसी भी AI tool को इस्तेमाल करते समय सिर्फ यह देखना काफी नहीं है कि वह जवाब दे रहा है या नहीं।
मेरे लिए ज्यादा जरूरी सवाल यह था कि क्या NotebookLM दिए गए source के अंदर मौजूद information पर ही भरोसा करता है? और अगर source में किसी सवाल का जवाब नहीं है तो क्या वह अपनी तरफ से कोई अनुमान लगा देता है?
इसी वजह से मैंने एक controlled test document तैयार किया जिसमें सभी जरूरी answers पहले से source में मौजूद थे और कुछ सवालों के answers जानबूझकर source में नहीं रखे गए थे।
मैंने NotebookLM का Test कैसे किया?
सबसे पहले मैंने NotebookLM में एक नया notebook बनाया और उसमें TechDisha के नाम से तैयार किया गया practical test document source के रूप में add किया।
इस source document में TechDisha का project context, test year, Test Number, Secret Word और कई products की prices दी गई थीं। साथ ही Smartphone X की price भी source में रखी गई थी।
यह पूरा data केवल AI की source-based answering capability को test करने के लिए बनाया गया था। यानी इसमें दिए गए numbers और product names को किसी real-world shopping recommendation की तरह नहीं लेना चाहिए।
|
| NotebookLM में इस्तेमाल किया गया TechDisha का original source document. Source: TechDisha |
Test 1: NotebookLM ने Source का Summary सही दिया?
सबसे पहले मैंने NotebookLM से कहा कि दिए गए source document का संक्षिप्त सारांश हिंदी में दे और केवल source में मौजूद information का इस्तेमाल करे।
NotebookLM ने source document का summary देते हुए बताया कि यह TechDisha द्वारा बनाया गया एक original test document है और इसका मुख्य उद्देश्य NotebookLM की source-based answering capability को test करना है।
इसके बाद उसने project से जुड़ी information, test year और test data को भी points में बताया। यानी शुरुआती summary में ही source की मुख्य जानकारी सही तरीके से दिखाई गई।
|
| NotebookLM ने दिए गए source document का बिल्कुल सटीक हिंदी सारांश (Summary) तैयार किया। Source: TechDisha |
Test 2: क्या NotebookLM ने Test Number सही बताया?
इसके बाद मैंने एक ऐसा सवाल पूछा जिसका answer source document में बिल्कुल स्पष्ट रूप से दिया गया था।
NotebookLM ने जवाब दिया: Test Number: 7429
यह वही number था जो मेरे original test document में दिया गया था। इस test से यह verify हुआ कि NotebookLM source में मौजूद specific numerical information को retrieve कर पा रहा था।
|
| NotebookLM ने source से Test Number '7429' को सही तरीके से निकालकर दिखाया। Source: TechDisha |
Test 3: Product Prices की जानकारी सही निकली या नहीं?
अगला test products और उनकी prices से जुड़ा था। Source document में कुल पांच products और Smartphone X की price दी गई थी।
NotebookLM ने source से ये prices निकालीं:
| Product | Source में दी गई कीमत |
|---|---|
| Product A | ₹12,999 |
| Product B | ₹8,499 |
| Product C | ₹15,999 |
| Product D | ₹6,999 |
| Product E | ₹10,499 |
| Smartphone X | ₹19,999 |
इसके बाद मैंने NotebookLM से इन products को कीमत के हिसाब से compare करने के लिए कहा। उसने सबसे सस्ते से सबसे महंगे क्रम में products को सही तरीके से रखा।
|
| AI ने source document में दी गई सभी product prices को सही पहचाना और उन्हें क्रम में लगाया। Source: TechDisha |
Test 4: Secret Word भी सही पहचाना?
अब मैंने source document में मौजूद एक specific Secret Word के बारे में पूछा। यह test इसलिए रखा गया था ताकि देखा जा सके कि NotebookLM छोटी और exact information को भी source से निकाल पाता है या नहीं।
NotebookLM ने जवाब दिया: Secret Word: नीला-कबूतर-27
यह source document में दिए गए data से match करता था। इस तरह Test Number और Secret Word दोनों specific data retrieval tests NotebookLM ने सही तरीके से pass किए।
|
| NotebookLM ने source में छुपे Secret Word 'नीला-कबूतर-27' का बिल्कुल सही जवाब दिया। Source: TechDisha |
Test 5: क्या NotebookLM Price Comparison कर सकता है?
सिर्फ data निकालना ही काफी नहीं था। इसलिए मैंने NotebookLM को source में मौजूद दो products की prices का अंतर निकालने के लिए कहा।
NotebookLM ने source से दोनों prices identify कीं:
- Product A: ₹12,999
- Product E: ₹10,499
इसके बाद उसने calculation की:
यानी Product A और Product E की कीमत में ₹2,500 का अंतर है। Calculation भी सही थी और इसमें किसी बाहरी information की जरूरत नहीं पड़ी।
|
| Product A और Product E की कीमत के बीच ₹2,500 का अंतर NotebookLM ने खुद कैलकुलेट किया। Source: TechDisha |
Test 6: Source में नहीं थी जानकारी, तो क्या AI ने अनुमान लगाया?
मेरे practical test का सबसे महत्वपूर्ण हिस्सा यहीं से शुरू हुआ। अब मैंने ऐसा सवाल पूछा जिसका answer source document में मौजूद नहीं था।
2030 में Smartphone X की कीमत कितनी होगी?
Source document में Smartphone X की केवल 2026 की ₹19,999 कीमत दी गई थी। 2030 की कोई price मौजूद नहीं थी।
NotebookLM ने 2030 की कोई काल्पनिक price नहीं बनाई। उसने साफ बताया कि source document में 2030 की कीमत की जानकारी उपलब्ध नहीं है और source में उपलब्ध data के अनुसार Smartphone X की कीमत ₹19,999 है।
मेरे हिसाब से यह practical test का सबसे useful हिस्सा था, क्योंकि यहां AI के पास अनुमान लगाने का मौका था, लेकिन उसने source में मौजूद information की सीमा को बताया।
|
| 2030 की कीमत source में न होने पर AI ने खुद से कोई गलत अनुमान (Hallucination) नहीं लगाया। Source: TechDisha |
Test 7: Product F की कीमत पूछकर देखा
इसके बाद मैंने एक और simple लेकिन महत्वपूर्ण trap test किया। Source document में Product A से Product E तक products मौजूद थे, लेकिन Product F की कोई जानकारी नहीं थी।
NotebookLM ने जवाब दिया कि Product F की कीमत की जानकारी source document में उपलब्ध नहीं है।
उसने यह भी स्पष्ट किया कि source document में केवल Product A, Product B, Product C, Product D, Product E और Smartphone X की कीमतें दी गई हैं।
यह result मेरे test के लिए खास तौर पर महत्वपूर्ण था क्योंकि मैंने जानबूझकर source में Product F की entry नहीं रखी थी। NotebookLM ने किसी imaginary price को answer के रूप में नहीं दिया।
|
| Product F की जानकारी document में मौजूद न होने पर NotebookLM ने साफ बताया कि जानकारी उपलब्ध नहीं है। Source: TechDisha |
NotebookLM Practical Test में क्या-क्या सही रहा?
| Test | Result |
|---|---|
| Source Summary | Source की मुख्य जानकारी सही बताई |
| Test Number | 7429 सही बताया |
| Secret Word | नीला-कबूतर-27 सही बताया |
| Product Prices | सभी उपलब्ध prices सही निकालीं |
| Price Comparison | ₹2,500 का अंतर सही निकाला |
| 2030 Smartphone X Price | Source में जानकारी नहीं होने पर अनुमान नहीं लगाया |
| Product F Price | Source में जानकारी उपलब्ध नहीं बताई |
इस Practical Test से NotebookLM के बारे में क्या पता चला?
इस test से यह पता चला कि दिए controlled source document के साथ NotebookLM ने specific information retrieval अच्छी तरह किया। Test Number, Secret Word और product prices जैसे exact data points सही निकाले गए।
Price comparison वाले test में उसने source की दो prices लेकर सही mathematical difference भी निकाला। इससे यह भी पता चला कि source-based information पर simple calculation कराना practical use-case हो सकता है।
लेकिन मेरे test का सबसे महत्वपूर्ण observation missing information वाले questions से आया। जब 2030 की Smartphone X price या Product F की price source में मौजूद नहीं थी, तब NotebookLM ने कोई नई value invent नहीं की और information unavailable होने की बात बताई।
क्या इसका मतलब NotebookLM हमेशा 100% सही जवाब देगा?
नहीं। इस practical test के results को NotebookLM की हर परिस्थिति में 100% accuracy की guarantee नहीं माना जाना चाहिए।
यह एक controlled test था जिसमें source document मैंने खुद तैयार किया था और उसमें मौजूद data भी पहले से निश्चित था। इसलिए इसका उद्देश्य NotebookLM की source-based answering capability को एक practical example से check करना था, न कि हर तरह के real-world research task में इसकी accuracy साबित करना।
Real-world documents में formatting, ambiguous information, incomplete data या source की अपनी गलतियां हो सकती हैं। इसलिए important information को इस्तेमाल करने से पहले original source को देखना हमेशा बेहतर है।
क्या यह Test Real-World Use में काम आ सकता है?
हां, इस तरह का source-based workflow notes, study material, reports और internal documents को समझने में useful हो सकता है।
उदाहरण के लिए अगर किसी document में कई numbers, dates या अलग-अलग entries हैं, तो NotebookLM से specific information पूछकर उसे जल्दी locate किया जा सकता है। लेकिन final decision लेने से पहले original document से verification करना जरूरी रहेगा।
एक खास बात: यह कोई Real Product Price Test नहीं था
यहां एक बात साफ करना जरूरी है। इस practical test में Product A, Product B, Product C, Product D, Product E और Smartphone X की जो prices दी गई थीं, वे test document के synthetic data का हिस्सा थीं।
इन prices का इस्तेमाल किसी real smartphone या product की current market price बताने के लिए नहीं किया गया था। पूरा document केवल NotebookLM की source-based answering capability को test करने के लिए बनाया गया था।
NotebookLM Practical Test: मेरा Verdict
मेरे इस practical test में इस controlled test में NotebookLM ने source document से specific information निकालने में अच्छा प्रदर्शन किया। Test Number 7429, Secret Word नीला-कबूतर-27 और सभी उपलब्ध product prices सही तरीके से identify हुईं।
Product A और Product E की कीमत का difference भी सही तरीके से ₹2,500 निकाला गया। इससे पता चलता है कि source में मौजूद numerical information पर basic comparison और calculation भी कराया जा सकता है।
लेकिन मेरे लिए सबसे महत्वपूर्ण result दो missing-information tests रहे। 2030 की Smartphone X price source में नहीं थी और Product F की price भी source में नहीं थी। दोनों मामलों NotebookLM ने उपलब्ध source की सीमा को स्वीकार किया और कोई काल्पनिक answer नहीं दिया।
Final Verdict: इस controlled TechDisha practical test में इस controlled test में NotebookLM ने source-based answering, exact data retrieval और basic comparison में अच्छा result दिया। खास बात यह रही कि source में information उपलब्ध नहीं होने पर इस test में उसने अनुमान लगाने के बजाय information unavailable होने की बात बताई।
फिर भी AI के किसी भी answer को final authority मानने के बजाय important information को original source से verify करना सबसे सुरक्षित तरीका है।
FAQs
NotebookLM के इस practical test में क्या check किया गया?
इस test में source summary, Test Number, Secret Word, product prices, price comparison और source में मौजूद न होने वाली information पर NotebookLM का response check किया गया।
NotebookLM ने Test Number क्या बताया?
NotebookLM ने source document के आधार पर Test Number 7429 बताया।
NotebookLM ने Secret Word क्या बताया?
Source document के अनुसार Secret Word नीला-कबूतर-27 था और NotebookLM ने इसे सही तरीके से identify किया।
Product A और Product E की कीमत में कितना अंतर था?
Product A की कीमत ₹12,999 और Product E की कीमत ₹10,499 थी। दोनों के बीच अंतर ₹2,500 था।
क्या NotebookLM ने Product F की price बताई?
नहीं। क्योंकि Product F की information source document में मौजूद नहीं थी, NotebookLM ने साफ बताया कि इसकी कीमत की जानकारी उपलब्ध नहीं है।
क्या NotebookLM ने Smartphone X की 2030 price बताई?
नहीं। Source में केवल 2026 की ₹19,999 price दी गई थी। 2030 की price उपलब्ध नहीं होने के कारण NotebookLM ने कोई अनुमानित price नहीं बताई।
क्या इस test में दी गई product prices real हैं?
नहीं। ये prices TechDisha के NotebookLM practical test के लिए तैयार किए गए synthetic data का हिस्सा हैं।
क्या NotebookLM के हर जवाब को सही मानना चाहिए?
नहीं। Practical test में अच्छा result मिलने के बावजूद important facts, prices, dates और अन्य critical information को original source से verify करना बेहतर है।
Post a Comment