आरक्षणपेच सोडवण्यासाठी मोडी लिपी एआय आशेचा किरण?

एकट्या पुणे अभिलेखागारातील ३९ हजार ‘रुमालांमध्ये’ बंदिस्त तब्बल चार कोटी दस्तऐवजांपैकी ८० टक्के कागदपत्रे आजपर्यंत कोणी वाचलेलीच नाहीत. याचे कारणसुद्धा मोडी लिपी तज्ज्ञांची कमतरता. आता पारंपरिक उपायांपलीकडे जाऊन तंत्रज्ञानाची मदत घेणे अटळ आहे.

लिप्यंतर ही पहिली पायरी

सर्वात प्रथम ‘लिप्यंतर’ (Transliteration) आणि ‘भाषांतर’ (Translation) यामधील फरक समजून घेणे महत्वाचे आहे.

लिप्यंतर : लिप्यंतर म्हणजे एका लिपीतील मजकूर दुसऱ्या लिपीत जसाच्या तसा रूपांतरित करणे. यामध्ये मूळ भाषेतील शब्दांचे उच्चार आणि स्वरूप कायम राहते, केवळ लेखनाची पद्धत बदलते. मोडी लिपीतील मजकूर देवनागरी लिपीत आणणे हे लिप्यंतराचे उत्तम उदाहरण आहे. येथे शिवकालीन किंवा पेशवेकालीन मराठी भाषेचा शब्द देवनागरीत लिहिला जातो, पण त्याचा आजच्या मराठीतील अर्थ लावला जात नाही.

भाषांतर : भाषांतर ही एक अधिक गुंतागुंतीची प्रक्रिया आहे, जिथे एका भाषेतील मजकुराचा अर्थ दुसऱ्या भाषेत आणला जातो. शिवकालीन मराठीतील एखाद्या वाक्याचा आजच्या प्रचलित मराठीत अर्थ लावणे हे भाषांतराचे उदाहरण आहे. यासाठी केवळ लिपीचे ज्ञान पुरेसे नसून, त्या काळातील सामाजिक, सांस्कृतिक आणि भाषिक संदर्भ समजून घेण्याची आवश्यकता असते.

लिप्यंतर स्वयंचलित (automatable) करता येण्यासारखी पहिली तांत्रिक पायरी आहे. कृत्रिम बुद्धिमत्तेचा (एआय) वापर करून एकदा का हे दस्तऐवज देवनागरीत उपलब्ध झाले, की ते मशीन-रीडेबल होतात. त्यानंतर भाषांतर आणि अर्थ लावण्याच्या दुसऱ्या, अधिक विश्लेषणात्मक टप्प्यासाठी मानवी तज्ज्ञांना त्यांचे काम अधिक प्रभावीपणे करता येते. थोडक्यात, इथे एआय हे मानवी तज्ज्ञांची जागा घेण्यासाठी नाही, तर त्यांना सक्षम करण्यासाठी एक शक्तिशाली साधन आहे.

एआय इतिहास वाचायला कसा शिकतो?

मोडी लिपीचे देवनागरीत लिप्यंतर करण्यासाठी अनेक प्रयत्न झाले आहेत पण आयआयटी रुरकी येथील प्रा. स्पर्श मित्तल आणि त्यांच्या टीमने विकसित केलेले MoScNet हे केवळ एक साधे सॉफ्टवेअर नसून यात अद्ययावत एआय प्रणालीचा वापर करण्यात आला आहे.

व्हिजन-लँग्वेज मॉडेल (VLM): व्हीएमएल न्यूरल नेटवर्कवर आधारित आहे. पारंपरिक ऑप्टिकल कॅरॅक्टर रेकग्निशन (OCR) किंवा हँडरायटिंग टेक्स्ट रेकग्निशन (HTR) तंत्रज्ञान अनेकदा अक्षरे किंवा जोडशब्द तोडून वाचण्याचा प्रयत्न करतात. मोडी लिपीच्या सलग आणि वळणदार (cursive) स्वरूपामुळे ही पद्धत अयशस्वी ठरते. याउलट, व्हीएमएल दोन वेगवेगळ्या माहिती स्रोतांना जोडते: एक म्हणजे दस्तऐवजाचे दृश्य स्वरूप (image) आणि दुसरे म्हणजे त्यातील भाषिक मजकूर (text). हे मॉडेल मोडी लिपीतील शब्दांकडे केवळ तुटक अक्षरांचा समूह म्हणून पाहत नाही, तर एक सलग चित्र म्हणून पाहून त्यातील भाषिक नमुने ओळखते, ज्यामुळे ते मोडीच्या मूळ स्वरूपाला चांगल्या प्रकारे हाताळू शकते.

नॉलेज डिस्टिलेशन : MoScNet च्या कार्यक्षमतेमागे नॉलेज डिस्टिलेशन हे प्रगत तंत्रज्ञान आहे. यामध्ये एका मोठ्या, शक्तिशाली शिक्षक मॉडेलकडून एका लहान, सुटसुटीत विद्यार्थी मॉडेलला शिकवले जाते. विद्यार्थी मॉडेल मूळ शिक्षक मॉडेलपेक्षा १६३ पट लहान असूनही अधिक चांगली कामगिरी करत आहे. या तंत्रज्ञानाचा थेट परिणाम धोरणात्मकदृष्ट्या अत्यंत महत्त्वाचा आहे. यामुळे हे मॉडेल वापरण्यासाठी उच्च क्षमतेच्या महागड्या संगणकांची गरज नाही. अशा प्रकारचे मॉडेल जिल्हास्तरीय पुराभिलेखागार किंवा तहसील कार्यालयांसारख्या कमी-संसाधने असलेल्या ठिकाणीही वापरता येऊ शकते.

ट्रान्सफॉर्मर आर्किटेक्चर: ही रचना मॉडेलला शब्दांमधील अक्षरांचे एकमेकांशी असलेले संबंध समजून घेण्यास मदत करते. मोडी लिपीत एका अक्षराचे वळण त्याच्या आधीच्या आणि नंतरच्या अक्षरावर अवलंबून असते. हे तंत्रज्ञान नेमके हेच संदर्भ समजून घेते आणि त्यामुळेच ते मोडी लिपीतील जोडशब्द आणि सलग लेखनाच्या आव्हानांवर यशस्वीपणे मात करते.

MoDeTrans डेटासेट: कोणत्याही एआय मॉडेलच्या यशाचा पाया त्याचा प्रशिक्षण डेटासेट असतो. MoScNet ला MoDeTrans नावाच्या डेटासेटवर प्रशिक्षित केले गेले आहे, ज्यामध्ये शिवकालीन, पेशवेकालीन आणि ब्रिटिशकालीन अशा तीन वेगवेगळ्या ऐतिहासिक कालखंडातील २०४३ अस्सल मोडी दस्तऐवजांच्या प्रतिमा आणि तज्ज्ञांनी प्रमाणित केलेले त्यांचे देवनागरी लिप्यंतर यांचा समावेश आहे. या वैविध्यपूर्ण डेटासेटमुळे एआय ने वेगवेगळ्या हस्ताक्षर शैली, शाईचा फिकेपणा आणि कागदाचा जीर्णपणा यांसारख्या वास्तविक समस्या ओळखायला शिकले आहे.

जुने OCR (Optical Character Recognition) तंत्रज्ञान ‘अक्षर-तोडणी’मध्ये अडकते; मोडीसारख्या सलग, जीर्ण आणि विविध हस्ताक्षराच्या कागदांसमोर ते हात टेकते. एआय नमुना-आणि-संदर्भ शिकते, ज्यामुळे शाईचा फिकेपणा, कागदाची घडण, जोडाक्षरांची वळणं सांभाळत मोठ्या प्रमाणावर अधिक अचूक लिप्यंतर देते; वर मानव-तपासणीचा थर दिली की वेग, खर्च आणि प्रमाण तर तिन्ही आघाड्यांवर ती विद्यमान तंत्रांवर भारी ठरते.

MoScNet ने सिद्ध केलेले तांत्रिक मॉडेल भारतातील आणि जगभरातील इतर अनेक लुप्तप्राय किंवा गुंतागुंतीच्या लिपींच्या संवर्धनासाठी एक आदर्श नमुना (blueprint) उपलब्ध करून देते.

संशोधन आणि प्रशासन यांच्यातील दरी

एक स्वतंत्र शैक्षणिक यश: MoScNetच्या विकासाशी संबंधित सर्व संशोधननिबंध आणि बातम्यांमध्ये प्रा. स्पर्श मित्तल आणि आयआयटी रुरकीच्या टीमचे श्रेय नमूद आहे. यामध्ये पुणे येथील सीओईपी आणि विश्वकर्मा इन्स्टिट्यूट ऑफ इन्फॉर्मेशन टेक्नॉलॉजीच्या विद्यार्थ्यांचेही योगदान आहे, परंतु पेपरात त्यांची संस्थात्मक संलग्नता म्हणून दिलेली नाही. मात्र, या संपूर्ण प्रक्रियेत कुठेही महाराष्ट्र शासन, राज्य पुराभिलेखागार किंवा शासनाच्या कोणत्याही विभागाकडून निधी, सहकार्य किंवा मागणी असल्याचा उल्लेख नाही.

यावरून हे स्पष्ट होते की, MoScNet हा उपक्रम हे मुख्यतः स्वतंत्र शैक्षणिक संशोधनावर आधारित आहेत. ही बाब शासनासाठी नकारात्मक नसून एक संधी आहे. कारण अशा प्रयोगांमधून हे दिसते की गुंतागुंतीच्या लिप्यंतर समस्यांवर एआय व्यवहार्य ठरू शकते. शासनाने या क्षेत्रातील संशोधन आणि तांत्रिक क्षमतांमध्ये धोरणात्मक गुंतवणूक करण्याची गरज आहे.

वापरण्यायोग्य इतिहासाची ब्लूप्रिंट

महाराष्ट्र शासनाने २०२४ मध्ये १७.५ कोटी पानांच्या अभिलेखांचे मायक्रोफिल्मिंग आणि डिजिटायझेशन करण्याची पाच वर्षांची १५० कोटी रुपयांची योजना जाहीर केली आहे. योजनेचे उद्दिष्ट राष्ट्रीय पुराभिलेखागाराच्या ‘अभिलेखागार पटल’सारखं ऑनलाइन पोर्टल उभारून संशोधकांना हे दस्तऐवज उपलब्ध करून देणे हे आहे. निःसंशय, ही योजना संवर्धनाच्या दृष्टीने अत्यंत मोलाची आहे.

सध्याच्या प्रयत्नांचे मूल्यांकन

राज्यात आणि राज्याबाहेर मोडी लिपीवर काही प्रमाणात काम सुरू आहे. तमिळनाडूतील तंजावर येथील तामिळ विद्यापीठात मोडी दस्तऐवजांच्या डिजिटायझेशनसाठी महाराष्ट्र शासनाने काही प्रमाणात निधी दिला आहे. तसेच, विविध शैक्षणिक संस्थांनी काही डेटासेट तयार केले आहेत, परंतु ते बहुतेकदा लहान आणि केवळ सुट्या अक्षरांच्या ओळखीवर केंद्रित आहेत, संपूर्ण दस्तऐवजाच्या लिप्यंतरावर नाहीत. पुणे पुराभिलेखागारातही २०१३ पासून डिजिटायझेशनचे प्रयत्न सुरू आहेत. या प्रयत्नांत एकसूत्रतेचा अभाव आहे. ही विखुरलेली प्रगती एका केंद्रीय, धोरणात्मक आणि एकात्मिक दृष्टिकोनाची गरज अधोरेखित करते.

धोरणात्मक आराखडा

एका ठोस आणि कृती-केंद्रित योजनेची गरज आहे. यासाठी, महाराष्ट्र शासनाने तातडीने एका उच्च-स्तरीय, आंतर-विभागीय ‘महाराष्ट्र ऐतिहासिक दस्तऐवज मिशन’ची स्थापना करावी, असा प्रस्ताव आहे.

प्रस्ताव: ‘महाराष्ट्र ऐतिहासिक दस्तऐवज मिशन’ची स्थापना

या मिशनला धोरणात्मक निर्णय घेण्याचे आणि अंमलबजावणीचे पूर्ण अधिकार असावेत. या मिशनची रचना खालीलप्रमाणे असावी:

नेतृत्व: मुख्यमंत्री कार्यालय, जेणेकरून मिशनला कार्यकारी अधिकार मिळतील आणि आंतर-विभागीय समन्वयात अडथळे येणार नाहीत.

सरकारी भागधारक: राज्य पुराभिलेखागार, महसूल विभाग, विधी व न्याय विभाग आणि सामाजिक न्याय विभाग. हे सर्व विभाग या डेटाचे अंतिम वापरकर्ते असल्याने त्यांचा सहभाग सुरुवातीपासूनच महत्त्वाचा आहे.

तांत्रिक भागीदार: आयआयटी रुरकी आणि राज्यातील तांत्रिक शिक्षण संस्था.

विषय तज्ज्ञ: महाराष्ट्रातील विद्यापीठांमधील इतिहासकार, भाषातज्ज्ञ आणि भारत इतिहास संशोधक मंडळासारख्या (BISM) संस्थांमधील संशोधकांचा एक गट.

या मिशनचे प्राथमिक आणि मुख्य उद्दिष्ट हे असेल की, सध्या सुरू असलेल्या डिजिटायझेशन योजनेत वर नमूद केलेला ‘चौथा टप्पा’ (एआय कॉर्पस निर्मिती) समाविष्ट करून एक विशाल, राज्यव्यापी आणि प्रमाणित मोडी लिपी कॉर्पस तयार करण्याच्या प्रक्रियेवर देखरेख करणे.

टप्प्याटप्प्याने पुढे: पथदर्शी प्रयोगापासून राज्यव्यापी विस्तारापर्यंत

टप्प्याटप्प्याने, अनुभवावर आधारलेली अंमलबजावणी हा अधिक सुरक्षित आणि परिणामकारक मार्ग आहे.

पहिला टप्पा

सुरुवात पुण्यातूनच व्हावी. आधीच डिजिटाइज झालेले काही दस्तऐवज निवडून त्यावर प्रयोग करावा. येथे MoScNet बरोबरच शैक्षणिक, ओपन-सोर्स किंवा उद्योगातील विविध एआय साधने वापरून चाचणी घ्यावी. त्यांची अचूकता, वेग, आणि प्रति पान लागणारा खर्च मोजून पाहावा. कोणते मॉडेल स्थानिक दस्तऐवजांना अधिक चपखल बसते हे प्रत्यक्ष कामातून समजेल. मानवी तज्ज्ञांची एक टीम एआयने केलेल्या लिप्यंतराची पडताळणी करेल आणि चुका सुधारून मॉडेलला पुन्हा प्रशिक्षित (fine-tune) करेल. या टप्प्यातून कामाची पद्धत, अचूकतेचे मापदंड आणि प्रति-दस्तऐवज येणारा खर्च निश्चित करता येईल.

दुसरा टप्पा

पायलटमधील अनुभवाच्या आधारे पुढची पायरी म्हणजे राज्यातील सर्व जिल्हा अभिलेखागारांमध्ये ही पद्धत नेणे. इथेही एआय-मानव संयुक्त मॉडेल वापरावे. एआय प्राथमिक लिप्यंतर करेल, पण अंतिम खात्री प्रशिक्षित पडताळणी करणारे कर्मचारी करतील.

तिसरा टप्पा

सामान्यांसाठी खुले असलेले एक डिजिटल पोर्टल. आज ज्या पोर्टलवर फक्त दस्तऐवजांच्या प्रतिमा पाहायला मिळतात, त्याऐवजी प्रतिमांबरोबरच प्रमाणित देवनागरी मजकूर उपलब्ध करून दिल्यास ते संशोधकांपासून प्रशासकांपर्यंत सर्वांसाठी उपयुक्त ठरेल. त्यात दस्तऐवजांची खरी ओळख जपण्यासाठी डिजिटल सही, हॅशिंग आणि लॉगिंग यासारखे तांत्रिक उपाय अनिवार्य करावेत.

प्रशासन, मानके आणि क्षमता बांधणी

कायद्याची चौकट स्पष्ट हवी – मजकुराला शासन व न्यायालयीन प्रक्रियेत मान्यता द्यायची असेल, तर आधीच स्पष्ट मार्गदर्शक तत्त्वे हवीत. अन्यथा दस्तावेज एआयने वाचला तरी तो पुरावा म्हणून ग्राह्य धरायचा की नाही यावरच वाद निर्माण होतील.

मानकांची एकसंधता – राज्यात तयार होणाऱ्या कॉर्पसला एकसमान दर्जा देणं अत्यावश्यक आहे. कोणतंही अभिलेखागार, कोणतीही संस्था काम करत असली, तरी डेटा प्रमाणीकरण आणि नोंदी करण्याची पद्धत एकच असावी.

क्षमता उभारणी- आज राज्यात मोजकेच मोडी तज्ज्ञ आहेत. त्यांच्यावर सगळं ओझं टाकून चालणार नाही. त्याऐवजी, एआयने तयार केलेल्या मसुद्यांची पडताळणी करणारी एक मोठी प्रशिक्षित फळी तयार करता येईल. यासाठी शासनाने खास प्रशिक्षण कार्यक्रम आखावेत.

संकटाच्या पलीकडे- मोडी लिपीचा प्रश्न हा केवळ आरक्षणाशी निगडित प्रशासकीय अडथळा नाही, तर महाराष्ट्र शासनाच्या तांत्रिक क्षमतेची खरी कसोटी आहे. डिजिटायझेशनवर कोट्यवधी खर्च करूनही जर ते दस्तऐवज मशीन-रीडेबल झाले नाहीत, तर ती गुंतवणूक उपयोगाची ठरणार नाही. त्यामुळे एआय आधारित उपायांकडे गांभीर्याने पाहणे ही काळाची गरज आहे. अशा गुंतवणुकीतून शासनाला तिहेरी फायदा मिळू शकतो- तातडीचं प्रशासकीय संकट टाळता येईल, सुरू असलेल्या डिजिटायझेशन योजनेतील पोकळी भरून निघेल, आणि बंदिस्त ऐतिहासिक नोंदी समाजासाठी नव्या दारांनी खुल्या होतील. या नोंदी अर्थकारणापासून संस्कृती आणि शिक्षणापर्यंत विविध क्षेत्रांना नवीन रूप देतील. या मिशनमुळे राज्य केवळ भूतकाळ जतन करणार नाही, तर खऱ्या अर्थाने वाचण्याजोगा, शोधण्याजोगा आणि वापरण्याजोगा करेल. अशा वेळी महाराष्ट्र स्वतःची प्रशासकीय कोंडी फोडेलच, पण डिजिटल वारसा जतन करण्याच्या बाबतीत संपूर्ण देशासाठी आदर्श निर्माण करेल.
(लेखक ‘एआय’ प्रशिक्षक आहेत)
aniket.shevade48@gmail.com