AI அரட்டை இயந்திரங்கள் எப்படிப் பதில் சொல்கின்றன? எளிய விளக்கம்
ChatGPT, Gemini, Claude போன்றவை “யோசிக்கின்றனவா”? அவை அடுத்த சொல்லைக் கணிக்கும் பெரிய மொழி மாதிரிகள் (LLM). அவை எப்படிக் கற்கின்றன, ஏன் சில நேரம் நம்பிக்கையுடன் தவறு சொல்கின்றன, நாம் எப்படிப் பாதுகாப்பாகப் பயன்படுத்துவது.
How AI chatbots built on large language models work: tokens, next-word prediction, transformers, training and fine-tuning, why they 'hallucinate', and how to use them safely.
இந்தக் கட்டுரையில்
சுருக்கமாக
- AI அரட்டை இயந்திரங்கள் “பெரிய மொழி மாதிரிகள்” (Large Language Models, LLM) என்ற கணினி நிரல்களால் இயங்குகின்றன.
- அவற்றின் அடிப்படை வேலை: இதுவரை எழுதியதைப் பார்த்து, அடுத்து வரக்கூடிய சொல்லை (அல்லது சொல்லின் ஒரு துண்டை) கணிப்பது. இதைத் திரும்பத் திரும்பச் செய்து முழுப் பதிலை உருவாக்குகின்றன.
- மிகப் பெரிய அளவிலான உரைகளிலிருந்து கற்றதால் அவை சரளமாக எழுதுகின்றன; ஆனால் சில நேரம் நம்பிக்கையுடன் தவறான தகவலும் தருகின்றன. முக்கியமான விஷயங்களை எப்போதும் சரிபார்க்க வேண்டும்.
“நாளைக்குப் பள்ளிக்கு லீவு கடிதம் எழுதித் தா”, “இந்தக் கணக்கை விளக்கு” என்று கேட்டால் சில நொடிகளில் பதில் வருகிறது. உள்ளே ஒரு மனிதர் உட்கார்ந்து எழுதுவதில்லை; தேடுபொறி போல ஏற்கனவே இருக்கும் பக்கத்தை எடுத்துக் காட்டுவதும் இல்லை. அப்படியானால் அது எப்படி வேலை செய்கிறது?
படி 1: சொற்களை எண்களாக்குதல்
கணினிக்குப் புரிவது எண்கள் மட்டுமே. எனவே நாம் எழுதும் உரை முதலில் சிறு துண்டுகளாகப் பிரிக்கப்படுகிறது; இவற்றை “டோக்கன்கள்” (tokens) என்கிறார்கள். ஒரு டோக்கன் முழுச் சொல்லாகவோ, சொல்லின் ஒரு பகுதியாகவோ இருக்கலாம். ஒவ்வொரு டோக்கனுக்கும் ஒரு எண் அடையாளம் உண்டு. பல மாதிரிகளில், தமிழ் போன்ற மொழிகளின் உரை ஆங்கிலத்தைவிட அதிகத் துண்டுகளாகப் பிரிக்கப்படுகிறது.
படி 2: அடுத்த சொல்லைக் கணித்தல்
“வானம் ஏன் ___” என்று பார்த்தால், அடுத்து “நீலம்” வர வாய்ப்பு அதிகம் என்று நமக்குத் தெரியும். மொழி மாதிரியும் இதையே செய்கிறது, ஆனால் மிகப் பெரிய அளவில். ஒவ்வொரு முறையும், இதுவரை உள்ள உரையைப் பார்த்து, அடுத்து வரக்கூடிய ஒவ்வொரு டோக்கனுக்கும் ஒரு நிகழ்தகவைக் (probability) கணக்கிடுகிறது. அதிலிருந்து ஒன்றைத் தேர்ந்தெடுத்து, உரையுடன் சேர்த்து, மீண்டும் அடுத்ததைக் கணிக்கிறது. ஒரு நீண்ட பதில் என்பது இப்படிப் பல நூறு கணிப்புகளின் தொடர்.
படி 3: “கவனம்” என்ற தந்திரம்
நல்ல கணிப்புக்கு, ஒரு வாக்கியத்தில் எந்தச் சொல் எந்தச் சொல்லுடன் தொடர்புடையது என்று புரிய வேண்டும். “ராமு பந்தை சோமுவிடம் எறிந்தான்; அவன் அதைப் பிடித்தான்” என்பதில் “அவன்” யார், “அது” எது? 2017-இல் கூகுள் ஆய்வாளர்கள் வெளியிட்ட “Attention Is All You Need” என்ற ஆய்வுக் கட்டுரை, “டிரான்ஸ்ஃபார்மர்” (transformer) என்ற வடிவமைப்பை அறிமுகப்படுத்தியது. அதில் உள்ள “கவனம்” (attention) முறை, ஒவ்வொரு டோக்கனும் மற்ற எல்லா டோக்கன்களுடனும் எவ்வளவு தொடர்புடையது என்று எடை போடுகிறது. இன்றைய பெரும்பாலான மொழி மாதிரிகள் இந்த வடிவமைப்பையே அடிப்படையாகக் கொண்டவை.
படி 4: பயிற்சி
- முன்பயிற்சி (pre-training). புத்தகங்கள், இணையப் பக்கங்கள் உட்பட மிகப் பெரிய அளவிலான உரைகளில், “அடுத்த டோக்கன் என்ன?” என்று கோடிக்கணக்கான முறை கணித்து, தவறுகளிலிருந்து தன் உள் எண்களை (parameters) சரிசெய்துகொள்கிறது. இதற்கு மிகப் பெரிய கணினித் தொகுப்புகளும் பெருமளவு மின்சாரமும் தேவை.
- நுண்பயிற்சி (fine-tuning). முன்பயிற்சி பெற்ற மாதிரி உரையைத் தொடரத் தெரியும்; ஆனால் உதவியாளராக நடந்துகொள்ளத் தெரியாது. கேள்விக்குப் பதில் சொல்லவும், அறிவுறுத்தல்களைப் பின்பற்றவும் கூடுதல் பயிற்சி தரப்படுகிறது.
- மனிதக் கருத்துடன் பயிற்சி (RLHF). ஒரே கேள்விக்கான பல பதில்களில் எது சிறந்தது என்று மனிதர்கள் மதிப்பிடுகிறார்கள். அந்த விருப்பங்களைக் கற்ற ஒரு மதிப்பீட்டு மாதிரியைக் கொண்டு, மொழி மாதிரி மேலும் சீர்செய்யப்படுகிறது.
ஏன் சில நேரம் தவறு சொல்கிறது?
மொழி மாதிரியின் இலக்கு “நம்பத்தகுந்ததாகத் தோன்றும் அடுத்த சொல்”; “உண்மையான சொல்” அல்ல. பெரும்பாலும் இரண்டும் ஒன்றாக இருக்கும். ஆனால் தெரியாத விஷயத்திலும், சரளமாக, நம்பிக்கையுடன், தவறான பதிலை அது உருவாக்கலாம். இல்லாத புத்தகம், தவறான தேதி, கற்பனையான மேற்கோள். இதை “மாயத்தோற்றம்” (hallucination) என்கிறார்கள். பயிற்சித் தரவில் இருக்கும் சார்புகளும் (bias) தவறுகளும் பதில்களில் பிரதிபலிக்கலாம்.
பாதுகாப்பாகப் பயன்படுத்த
- மருத்துவம், சட்டம், பணம், தேர்வுத் தேதிகள் போன்ற முக்கியமான தகவல்களை அதிகாரப்பூர்வ ஆதாரத்தில் சரிபார்த்த பிறகே நம்புங்கள்.
- ஆதார் எண், கடவுச்சொல், வங்கி விவரங்கள் போன்ற தனிப்பட்ட தகவல்களை உள்ளிட வேண்டாம்.
- “உன் ஆதாரம் என்ன?” என்று கேளுங்கள்; கொடுக்கப்படும் இணைப்புகளைத் திறந்து பாருங்கள்.
- மாணவர்கள்: விடையை நகலெடுப்பதைவிட, “படிப்படியாக விளக்கு” என்று கேட்டுப் புரிந்துகொள்வதே பயன் தரும்.
அது “யோசிக்கிறதா”?
இது விஞ்ஞானிகளுக்குள்ளும் விவாதத்தில் இருக்கும் கேள்வி. மொழி மாதிரிகள் கணிதம், நிரல் எழுதுதல், மொழிபெயர்ப்பு போன்றவற்றில் வியக்கத்தக்க திறனைக் காட்டுகின்றன. அதே நேரம், அவை மனிதர்களைப் போல உலகை அனுபவித்துக் கற்பதில்லை. “இது ஒரு மிகச் சக்திவாய்ந்த கருவி; தவறும் செய்யக்கூடிய கருவி” என்று புரிந்துகொண்டு பயன்படுத்துவதே இப்போதைக்குப் பாதுகாப்பான அணுகுமுறை.
கேள்வி–பதில்
AI-க்கு இணையம் தெரியுமா?
அடிப்படை மாதிரிக்கு, பயிற்சி முடிந்த தேதி வரையிலான தகவல் மட்டுமே தெரியும். சில சேவைகள் கூடுதலாக இணையத்தில் தேடி, அந்த முடிவுகளைப் பயன்படுத்திப் பதில் தருகின்றன.
தமிழில் கேட்டால் சரியாகப் பதில் வருமா?
பெரிய மாதிரிகள் தமிழில் நன்றாகவே பதில் தருகின்றன. ஆனால் பயிற்சித் தரவில் ஆங்கிலம் அதிகம் என்பதால், தமிழில் சில நேரம் சொல் தேர்வும் இலக்கணமும் தடுமாறலாம்.
“டோக்கன்” வரம்பு என்றால் என்ன?
ஒரு மாதிரி ஒரே நேரத்தில் கவனத்தில் கொள்ளக்கூடிய உரையின் அளவு. அதைத் தாண்டினால், உரையாடலின் தொடக்கப் பகுதிகளை அது “மறந்துவிடலாம்”.
ஆதாரங்களும் சரிபார்ப்பும் Sources and checks
கடைசியாகச் சரிபார்த்தது:
பிழை கண்டீர்களா? சொல்லுங்கள் · Report an error
புதிய அறிவியலின் வாக்குறுதி · Our trust standardதிருத்தங்கள் · Correctionsஆசிரியர் கொள்கை · Editorial policy
புதிய அறிவியல் மின்னிதழில் சேருங்கள் Join the free Puthiya Ariviyal newsletter
புதிய கட்டுரைகள் வாரம் ஒருமுறை உங்கள் மின்னஞ்சலுக்கு. இலவசம்; எப்போது வேண்டுமானாலும் நிறுத்தலாம். New stories in your inbox once a week. Free, and you can stop any time.
வாசகர்கள் கருத்து Reader reviews
இன்னும் கருத்துகள் இல்லை. இங்கே சென்று வந்திருந்தால், முதல் கருத்தை நீங்களே எழுதுங்கள். No reviews yet. Been here? Be the first.
✍ உங்கள் கருத்தை எழுதுங்கள் · Write a review
புதிய அறிவியலைப் பின்தொடருங்கள் · Follow Puthiya Ariviyal
அடுத்து படிக்க · Read nextவடகிழக்குப் பருவமழை: தமிழ்நாட்டுக்கு மழை எப்படி வருகிறது?இந்தியாவின் பெரும்பகுதி ஜூன்–செப்டம்பரில் மழை பெறும்போது, தமிழ்நாட்டின் மழைக்காலம் அக்டோபர்–டிசம்பர். காற்றின் திசை மாறுவது, வங்கக் கடல் புயல்கள், மேற்குத் தொடர்ச்சி மலையின் மழை மறைவு: பின்னால் இருக்கும் அறிவியல்.