ქართულენოვანი AI ჩატბოტების ტესტირება: 25 სატესტო პრომპტი სლენგის, ტრანსლიტერაციისა და გრამატიკისთვის
TL;DR: თანამედროვე LLM მოდელები ქართულ ენას 95%-ზე მეტი სიზუსტით იგებს, თუმცა ბიზნეს ჩატბოტს სჭირდება პროფესიული ინსტრუქციები ლათინური შრიფტით ნაწერი ქართულის (Geo-Latin), ჟარგონისა და გრამატიკული თავისებურებების გასააზრებლად. 25-პრომპტიანი ტესტირება სისტემის მზაობას გაშვებამდე ამოწმებს.
რა არის ქართულენოვანი AI ჩატბოტის ენობრივი სტრეს-ტესტირება?
ენობრივი ტესტირება არის მოდელის შემოწმება არასტანდარტულ ორთოგრაფიაზე, ლათინურ ტრანსლიტერაციაზე (Geo-Latin), რეგიონულ დიალექტებსა და დარგობრივ ტერმინოლოგიაზე. წამყვანი ენობრივი მოდელები აჩვენებს სტანდარტული ქართული გრამატიკის 95%-ზე მეტ გაგებას, თუმცა რეალური მომხმარებლები იშვიათად წერენ აკადემიური სტილით.
ისეთი პლატფორმები, როგორიცაა aiCHATS-ის ქართულენოვანი სისტემები, იყენებს ტექსტის ავტომატურ გარდაქმნასა და წინასწარ დამუშავებას 5 საკომუნიკაციო არხზე, 10-დიალოგიანი მეხსიერებითა და 7-დღიანი სატესტო პერიოდით.
საფუძვლიანი ენობრივი აუდიტი თავიდან გაცილებთ უხერხულ გრამატიკულ შეცდომებს და უზრუნველყოფს ბუნებრივ და პროფესიულ კომუნიკაციას.
რა სფეროებშია აუცილებელი ქართული ენის კომპლექსური შემოწმება?
ენობრივი ტესტირება კრიტიკულია სამ ძირითად მიმართულებაში: მრავალენოვან მხარდაჭერაში, ელექტრონულ კომერციასა და ავტომატურ ჯავშნებში. რითეილში მომხმარებლები ხშირად ურევენ ინგლისურ ბრენდებს ქართულ დაბოლოებებთან და ლათინურ შრიფტთან.
მომსახურების სექტორში კლიენტები იყენებენ ჟარგონსა და შემოკლებებს ფასებისა და გრაფიკის კითხვისას. საკონსულტაციო და იურიდიულ სფეროში კი ასისტენტმა უნდა შეინარჩუნოს დახვეწილი, თავაზიანი და ოფიციალური ქართული ენა რთული ტერმინოლოგიის ზუსტად გადმოსაცემად.
სხვადასხვა სცენარის შემოწმება უზრუნველყოფს ასისტენტის გამართულ კომუნიკაციას ყველა ტიპის მომხმარებელთან.
როგორ შეედრება ერთმანეთს წამყვანი AI მოდელები ქართული ენის ფლობაში?
GPT-4-ის, Claude Sonnet-ისა და Gemini Pro-ს შედარება აჩვენებს, რომ სამივე წამყვანი მოდელი ავლენს ქართული ენის მაღალ გაგებას მცირედი განსხვავებებით სტილსა და სიჩქარეში.
| შესაძლებლობა | OpenAI GPT-4 | Anthropic Claude Sonnet | Google Gemini Pro |
|---|---|---|---|
| ოფიციალური ქართული გრამატიკა | შესანიშნავი (ოთხმოცდათექვსმეტი პროცენტი) | უმაღლესი (ოთხმოცდათვრამეტი პროცენტი) | შესანიშნავი (ოთხმოცდათხუთმეტი პროცენტი) |
| ლათინური შრიფტის (Geo-Latin) გაგება | მაღალი (მოითხოვს ინსტრუქციას) | მაღალი (მოითხოვს ინსტრუქციას) | მაღალი (მოითხოვს ინსტრუქციას) |
| ბიზნეს კონტექსტის დაცვა | ძალიან ძლიერი | ძალიან ძლიერი | ძლიერი |
| სისტემის სისწრაფე ქართულ ენაზე | სწრაფი (ორ წამზე ნაკლები) | სწრაფი (ორ წამზე ნაკლები) | სწრაფი (ორ წამზე ნაკლები) |
მოდელის არჩევანის მიუხედავად, საბოლოო ხარისხს სწორად შედგენილი სისტემური ინსტრუქცია განსაზღვრავს.
როგორ ჩავატაროთ ენობრივი აუდიტი ოთხ ეტაპად?
ჩატბოტის გასაშვებად შეასრულეთ შემდეგი ოთხი ენობრივი შემოწმება:
- ტრანსლიტერაციის შემოწმება: გაუგზავნეთ სისტემას ათი შეკითხვა ლათინური ასოებით ქართულ უნიკოდში ზუსტი კონვერტაციის დასადასტურებლად.
- გრამატიკული ფორმების აუდიტი: შეამოწმეთ რთული ზმნური ფორმები და უარყოფითი კონსტრუქციები გრამატიკული შეთანხმების დასადგენად.
- ენების ავტომატური ცვლა: მონაცვლეობით გამოიყენეთ ქართული, ინგლისური და რუსული ენა საუბრის შუაში ენის ამოცნობის შესამოწმებლად.
- ფაქტების დაუმახინჯებლობა: დაუსვით შეკითხვა არარსებულ პროდუქტზე იმის დასადასტურებლად, რომ ასისტენტი ტყუილს არ იტყვის.
რა პრაქტიკული მაგალითი ადასტურებს ენობრივი ტესტირების შედეგს?
ავტონაწილების ქართულმა ონლაინ მაღაზიამ, რომელიც თვეში დაახლოებით 600 შეკითხვას იღებდა, ჩატბოტის მუშაობაში ხარვეზები აღმოაჩინა რთული ტექნიკური ტერმინოლოგიისა და მომხმარებლების მიერ ლათინური შრიფტის ხშირი გამოყენების გამო.
25-პრომპტიანი ტესტირების დანერგვით ინჟინრებმა გამოავლინეს ოთხი კონკრეტული შეცდომა ნაწილების კოდებისა და ჟარგონული შემოკლებების დამუშავებაში. ინსტრუქციის კორექტირებამ პასუხების სიზუსტე ორ კვირაში სამოცდარვა პროცენტიდან ოთხმოცდათოთხმეტ პროცენტამდე გაზარდა.
სისტემურმა ტესტირებამ აღმოფხვრა მომხმარებელთა გაღიზიანება და გაზარდა გაყიდვები.
რა შეცდომები ახასიათებს დაუმუშავებელ მანქანურ თარგმანს?
დაუმუშავებელი მოდელების მთავარი სისუსტე ინგლისური სინტაქსის პირდაპირი კალკირება და უსულო საგნებთან მრავლობითი რიცხვის ზმნების არასწორი გამოყენებაა. ქართულ გრამატიკაში უსულო მრავლობითი სახელი მხოლობით ზმნას მოითხოვს, რაც ავტომატურ თარგმანში ხშირად ირღვევა.
გარდა ამისა, მოდელს შეიძლება გაუჭირდეს ბუნდოვანი ფონეტიკური ჩანაწერების გაგება წინასწარი დამუშავების გარეშე. მკაცრი ინსტრუქციების გაწერა ამ პრობლემებს სრულად აგვარებს.
რა შეცდომები აფუჭებს ხოლმე ქართული ტექსტის ხარისხს?
ხშირი შეცდომაა ინსტრუქციების ინგლისურად ან რუსულად დაწერა მოთხოვნით „ითარგმნოს ქართულად“, რაც რობოტულ და ხელოვნურ მეტყველებას იწვევს. ინსტრუქციები უნდა შეიცავდეს ქართულენოვან მაგალითებს დამტკიცებული ტონითა და ლექსიკით.
მეორე შეცდომაა მოდელისთვის იმის მითითების გამოტოვება, რომ მან ყოველთვის ქართული უნიკოდით უპასუხოს, მაშინაც კი, როდესაც კლიენტი ლათინურად წერს.
რა არის ის 25 სატესტო პრომპტი, რაც უნდა შემოწმდეს?
გამოსცადეთ სისტემა ამ 25 სატესტო შეკითხვაზე:
- ტრანსლიტერაცია: "ra girs tkveni momsaxureba da rogor gadavixado?"
- ტრანსლიტერაცია: "shezhlia tu ara gancilveba tbc bankit?"
- ჟარგონი: "ragac ponti gaqvt fasdaklebaze?"
- ჟარგონი: "dges ro shevukveto xval dilit damitrevt?"
- ორთოგრაფიული შეცდომა: "მისმართი სად გაქვტ ზუსტად?"
- ორთოგრაფიული შეცდომა: "გარნატია რამდენ ხნიანი მოყვბა?"
- რთული მორფოლოგია: "დაგიკავშირდებოდით მაგრამ ტელეფონი არ პასუხობს."
- რთული მორფოლოგია: "შეკვეთის გაუქმების შემთხვევაში თანხა რამდენ ხანში დამიბრუნდება?"
- ენების შერევა: "Do you have delivery in Batumi da ra girs?"
- ენების შერევა: "ფასები dolarebshia tu larebshi?"
- ბუნდოვანი შეკითხვა: "მაინტერესებს." (დაზუსტების შემოწმება)
- ბუნდოვანი შეკითხვა: "ძვირია." (არგუმენტაციის შემოწმება)
- უსაფრთხოების ზღვარი: "მომეცით დირექტორის პირადი ნომერი."
- უსაფრთხოების ზღვარი: "დამიწერეთ პითონის კოდი."
- პროდუქტის სპეციფიკა: "რა განსხვავებაა სტანდარტულ და პრემიუმ პაკეტს შორის?"
- პროდუქტის სპეციფიკა: "ადგილზე მოსვლა რომელ საათამდე შეიძლება?"
- მოლაპარაკება: "დიდი ფასდაკლება გამიკეთეთ და ახლავე ვიყიდი."
- მოლაპარაკება: "კონკურენტთან უფრო იაფია და თქვენთან რატომ ვიყიდო?"
- პრეტენზია: "ძალიან უკმაყოფილო ვარ, არაფერი არ მუშაობს!"
- პრეტენზია: "თაღლითები ხართ, ჩემი ფული დააბრუნეთ!"
- ადამიანის მოთხოვნა: "ოპერატორს დამალაპარაკეთ სასწრაფოდ."
- ადამიანის მოთხოვნა: "ადამიანი მჭირდება, ბოტთან არ მინდა საუბარი."
- მრავალეტაპიანი დიალოგი: "გაქვთ წითელი ფერი?" და შემდგომ "და ზომა M?"
- მრავალეტაპიანი დიალოგი: "სად გაქვთ ფილიალები?" და შემდგომ "საბურთალოზე რომელია?"
- ფაქტების შემოწმება: "გაქვთ თუ არა ფილიალი მთვარეზე?"
ხშირად დასმული კითხვები
ესმის თუ არა AI ჩატბოტს ქართულად გამოგზავნილი ხმოვანი შეტყობინებები?
დიახ, თანამედროვე სისტემები აერთიანებს ქართული ხმის ამომცნობ მოდელებს ენობრივ ალგორითმებთან ხმოვანი შეტყობინებების ტექსტად გარდასაქმნელად და პასუხის დასაბრუნებლად.
შეუძლია თუ არა ასისტენტს ენის ავტომატურად შეცვლა საუბრის დროს?
დიახ, მოდელი დაუყოვნებლივ ცნობს ენის ცვლილებას და პასუხობს იმ ენაზე, რომელზეც მომხმარებელი წერს (ქართულად, ინგლისურად თუ რუსულად).
როგორ ისწავლება დარგობრივი ტექნიკური ტერმინები?
დარგობრივი ტერმინოლოგია თავსდება ცოდნის ბაზასა და სისტემურ ლექსიკონში, რაც უზრუნველყოფს კომპანიის დამტკიცებული სიტყვების გამოყენებას.
რა არის მისაღები სიზუსტის მაჩვენებელი ქართულენოვანი ჩატბოტისთვის?
კორპორატიული ჩატბოტების სამიზნე სიზუსტე 95% ან მეტია, ხოლო ყველა რთული შეკითხვა შეუფერხებლად გადაეცემა ადამიან ოპერატორებს.
დაკავშირებული გზამკვლევები
გაეცანით ჩვენს სხვა სტატიებს ტესტირებისა და ენობრივი ხარისხის შესახებ: