როგორ შევამოწმოთ ჩატბოტი ქართულ შეცდომებსა და ლათინური ასოებით წერაზე

მოკლე პასუხი: ქართული ჩატბოტის ტესტში ცალ-ცალკე უნდა მოხვდეს სიტყვაში გამოტოვებული ასო, სიტყვების არეული თანმიმდევრობა, ლათინური ასოებით დაწერილი ქართული და პროდუქტის ბუნდოვანი დასახელება. შემფასებელმა უნდა შეამოწმოს პასუხის სისწორე, სანდოობის ზღვარი და დაზუსტების ხარისხი. ბუნდოვან შეტყობინებაზე უსაფრთხო პასუხი მოკლე შეკითხვაა.

თუ თქვენს Instagram-ში, WhatsApp-ში ან საიტის ჩატში მომხმარებლები ქართულს შეცდომებით წერენ, გამოგვიგზავნეთ ანონიმიზებული შეტყობინებების მცირე ნიმუში. aiCHATS-ის დემოზე შევამოწმებთ, რომელი ფორმულირება იკითხება სწორად და სად სჭირდება ასისტენტს შეზღუდვა ან დაზუსტება.

რატომ კარგავს ჩატბოტი განზრახვას, როცა სიტყვა მაინც გასაგებია?

ჩატბოტი შეცდომას მაშინ ვერ უმკლავდება, როცა სისტემა ასოების დამთხვევას მომხმარებლის განზრახვაზე მაღლა აყენებს. რეალურ ჩატში კლიენტი შეიძლება სწრაფად წერდეს, ხმოვანს გამოტოვებდეს, სიტყვებს აერთიანებდეს ან ქართულ წინადადებას ლათინური ასოებით აგზავნიდეს. ფრაზები gamarjoba, fasi ra aris და „ლურჯი მოდელ გაქვთ“ ადამიანისთვის შეიძლება გასაგები იყოს, თუმცა პროგრამა მათ სხვადასხვა ტიპის შემავალ მონაცემად აღიქვამს.

ტრანსლიტერაცია თარგმანი არ არის. Unicode CLDR-ის განმარტებით, ტრანსლიტერაცია ერთი დამწერლობის ასოებს მეორე დამწერლობაში გადააქვს და სიტყვების მნიშვნელობას არ თარგმნის. ამ განსხვავებას პრაქტიკული შედეგი აქვს: ლათინური ჩანაწერის ქართულად გარდაქმნა მხოლოდ პირველი ეტაპია. შემდეგ ასისტენტმა უნდა გაიგოს, რას ითხოვს მომხმარებელი და უკავშირდება თუ არა მოთხოვნა რეალურ პროდუქტს ან წესს.

რა უნდა შევიტანოთ ქართული შეტყობინებების კონტროლირებულ ტესტში?

შემფასებელი ერთ სწორ წინადადებას რამდენიმე მიზანმიმართული ცვლილებით ამოწმებს. ქვემოთ გამოყენებული „ასოების ბაღი“ ამ სტატიისთვის შექმნილი გამოგონილი სასწავლო მაღაზიაა. იგი aiCHATS-ის კლიენტი, ქეისი ან შედეგი არ არის.

შეტყობინების ტიპი	საცდელი ტექსტი	მოსალოდნელი ქცევა	დაუშვებელი პასუხი
გამოტოვებული ასო	„ლურჯი მოდელ გაქვთ“	ბოტი ამოწმებს ლურჯ ვარიანტს და იმეორებს გაგებულ არჩევანს	არარსებული მოდელის დასახელება
ლათინური ჩანაწერი	lurji zoma minda	ბოტი არჩევანს ადასტურებს ქართულად და ზომას აზუსტებს	ლათინური ჩანაწერის სხვა ენად გამოცხადება
არეული სიტყვები	„ფასი შავი ჩანთის რაა“	ბოტი შავი ჩანთის იდენტობას ამოწმებს	კატალოგიდან შემთხვევითი ფასის მიწერა
ბუნდოვანი სახელწოდება	„ის პატარა პრო მინდა“	ბოტი აჩვენებს მოკლე არჩევანს ან სვამს ერთ ზუსტ შეკითხვას	კონკრეტული პროდუქტის თვითნებურად არჩევა

რედაქტორი მატრიცაში ხუთ კრიტერიუმს ამოწმებს: გაგებულ პროდუქტს, ატრიბუტს, პასუხის ენას, გაურკვევლობის აღიარებასა და შემდეგ ნაბიჯს. Google Cloud-ის დოკუმენტაციით, სატესტო შემთხვევა ინახავს საცდელ საუბარსა და მოსალოდნელ შედეგებს, რათა იგივე საუბარი ცვლილების შემდეგ ხელახლა გაეშვას.

როგორ უნდა დამუშავდეს შეცდომა მომხმარებლის ტექსტის დაკარგვის გარეშე?

შემოწმებისას უნდა შევინახოთ როგორც თავდაპირველი შეტყობინება, ისე დამუშავებული ვერსია. პირველ ჩანაწერში რჩება ზუსტად ის, რაც მომხმარებელმა დაწერა. მეორე ვერსიიდან ზედმეტი გამოტოვებები იშლება, ლათინური ჩანაწერი საჭიროების შემთხვევაში ქართულად გარდაიქმნება და შესაძლო სახელწოდება ცალკე აღინიშნება. პასუხის მომზადებისას ასისტენტი ამ ორ ჩანაწერს ადარებს, რადგან ავტომატურმა შესწორებამ შეიძლება სიტყვა სხვა პროდუქტად აქციოს.

თუ მომხმარებელმა დაწერა shavi kodi, ბოტმა ჯერ უნდა დაადგინოს, „კოდი“ პროდუქტის მოდელს ნიშნავს თუ ფერსა და სხვა ატრიბუტს. თავდაპირველი ტექსტის შენახვა ოპერატორსაც ეხმარება: გადაცემულ საუბარში ადამიანი ხედავს კლიენტის სიტყვებს და ბოტის ინტერპრეტაციას ცალ-ცალკე. ამ გზით შესწორება აუდიტირებადი რჩება.

რომელი მიდგომა ჯობს: ლექსიკონი, ტრანსლიტერაცია, სემანტიკური ძიება თუ დაზუსტება?

შეტყობინების ყველა ფორმას ერთი მეთოდი ვერ უმკლავდება. სწორი არჩევანი შეცდომის ტიპსა და მცდარი პასუხით გამოწვეულ რისკზეა დამოკიდებული.

მიდგომა	სად გამოდგება	სად იშლება
ბრენდის ლექსიკონი	მოდელის კოდები, ადგილობრივი მეტსახელები, სპეციალური ტერმინები	ახალ შეცდომებსა და თავისუფალ აღწერებს ვერ ფარავს
ტრანსლიტერაციის ფენა	ლათინური ასოებით დაწერილი ქართული	ერთი ლათინური ჩანაწერი შეიძლება რამდენიმე ქართულ ფორმას შეესაბამებოდეს
სემანტიკური ძიება	სინონიმები და აღწერითი მოთხოვნები	კოდის ან იშვიათი სახელის ზუსტი დამთხვევა შეიძლება გაუჭირდეს
დამაზუსტებელი შეკითხვა	რამდენიმე დასაშვები ინტერპრეტაცია	ზედმეტი გამოყენება საუბარს აჭიანურებს

როგორ უკავშირდება ეს ნაკადი aiCHATS-ის დადასტურებულ შესაძლებლობებს?

aiCHATS-ის პროდუქტის წყარო ორ გამოსადეგ საზღვარს ადასტურებს: ერთი ასისტენტი 5 არხზე პასუხობს და საუბრის კონტექსტში ბოლო 10 შეტყობინება რჩება. გუნდმა შეცდომით დაწერილი მოთხოვნა თითოეულ არხში უნდა შეამოწმოს და მნიშვნელოვანი არჩევანი ცალკე სტრუქტურირებულ ველში შეინახოს.

პროდუქტის ძიება ჰიბრიდულია: dense embeddings და BM25 საკვანძო ძიება Reciprocal Rank Fusion-ით ერთიანდება. აღწერითი ტექსტი სემანტიკურ მხარეს ეყრდნობა, მოდელის კოდი კი საკვანძო მხარეს. რედაქტორმა მაინც უნდა შეამოწმოს კონკრეტული ქართული შეცდომები, რადგან არქიტექტურის აღწერა არც ერთი ფრაზის სწორ გაგებას არ ამტკიცებს.

რა შეზღუდვები უნდა დავწეროთ გაშვებამდე?

ამჟამინდელი პროდუქტის წყარო არ ადასტურებს, რომ ყველა ქართული ტრანსლიტერაცია ავტომატურად და უშეცდომოდ გარდაიქმნება. ამიტომ მხარდაჭერა უნდა შეფასდეს კლიენტის რეალური, ანონიმიზებული შეტყობინებებით. სისტემამ არ უნდა გამოასწოროს პირის სახელი, მისამართი, პროდუქტის კოდი ან იურიდიული ტერმინი ჩუმად. ასეთ მონაცემზე საჭიროა წაკითხვა, განმეორება და მომხმარებლის დადასტურება.

aiCHATS ჩატში გადახდას არ ასრულებს. ბოტს შეუძლია პროდუქტის პოვნა და ლიდის გადაცემა, თუმცა ბარათით ანგარიშსწორების დაპირება ამ ნაკადში მცდარი იქნება. ასევე, 10 შეტყობინების კონტექსტი გრძელი საუბრის სრულ არქივს არ უდრის. მნიშვნელოვანი არჩევანი ცალკე ველში უნდა შეინახოთ.

რომელი შეცდომები აფუჭებს ტესტს?

ტესტს აფუჭებს რამდენიმე პირობის ერთდროული შეცვლა, მხოლოდ გამართული ენის შეფასება და ლათინური ჩანაწერის ავტომატურად სხვა ენად მიჩნევა.

• ერთდროულად იცვლება მართლწერა, პროდუქტი, ფერი და განზრახვა, რის გამოც წარუმატებლობის მიზეზი გაურკვეველი რჩება.
• რედაქტორი ამოწმებს მხოლოდ პასუხის გამართულ ქართულს და არ ამოწმებს, სწორ პროდუქტს შეეხო თუ არა პასუხი.
• ლათინური ჩანაწერი ავტომატურად ინგლისურად ითვლება და ბოტი მომხმარებლის ენას ცვლის.
• ბოტი შესწორებულ სიტყვას იმეორებს, თუმცა მომხმარებელს არ ეუბნება, რომელი არჩევანი გაიგო.
• გაურკვეველი პასუხი წარმატებად ითვლება მხოლოდ იმიტომ, რომ ბოტმა თავაზიანად დაწერა.

როგორ მოვამზადოთ პირველი სამუშაო ნაკრები?

აიღეთ პროდუქტის ან მომსახურების შესახებ ერთი მკაფიო, აქტუალური შეკითხვა. შექმენით სამი ვარიანტი: ერთში ასო გამოტოვეთ, მეორე ლათინური ასოებით დაწერეთ, მესამეში კი სიტყვების თანმიმდევრობა შეცვალეთ. თითოეულს მიუწერეთ დასაშვები პასუხი, აუცილებელი დაზუსტება და აკრძალული ვარაუდი. ყველა დაგეგმილ არხში ერთსა და იმავე ნაკრებზე ჩაატარეთ ტესტი. ცვლილების შემდეგ ძველი დიალოგებიც ხელახლა შეამოწმეთ, რადგან ახალი ლექსიკონი ან ინსტრუქცია ადრე გამართულ პასუხს შეიძლება შეეხოს.

როგორ შევამოწმეთ ეს მასალა?

სტატია ეყრდნობა aiCHATS-ის მიმდინარე პროდუქტის წყაროს, Unicode CLDR-ის ტრანსლიტერაციის განმარტებასა და Google Cloud-ის განმეორებადი დიალოგის ტესტის დოკუმენტაციას. კონტროლირებული მატრიცა შეიქმნა ამ სტატიისთვის და საჯარო პროდუქტზე არ გაშვებულა. მასში არ არის გამოყენებული კლიენტის მონაცემი, გაზომილი შედეგი ან პოზიციის დაპირება.

რომელი საკითხები უკავშირდება ამ ტესტს?

ამ ტესტს უკავშირდება პროდუქტის ვარიანტის განახლება, განმეორებადი კითხვის შეჩერება და არასამუშაო საათების პასუხის შემოწმება.

• როგორ შევინარჩუნოთ ახალი პროდუქტის ვარიანტი საუბრის შუაში
• როგორ გავაჩეროთ განმეორებადი დამაზუსტებელი კითხვა
• რა უნდა დაწეროს ბოტმა, როცა ოპერატორი არ მუშაობს

რა კითხვებს სვამენ ყველაზე ხშირად?

ყველაზე ხშირი კითხვები ეხება ბეჭდვითი შეცდომის გასწორებას, ტრანსლიტერაციასა და ორაზროვანი მნიშვნელობის დაზუსტებას.

უნდა გაასწოროს ბოტმა მომხმარებლის ყველა შეცდომა?

ბოტმა აშკარა ბეჭდვითი შეცდომა შეიძლება დაამუშაოს. სახელი, მისამართი, კოდი და რამდენიმე შესაძლო მნიშვნელობის მქონე სიტყვა მომხმარებელს უნდა დაუზუსტდეს.

ლათინური ასოებით დაწერილი ქართული ცალკე ენაა?

ლათინური ასოებით დაწერილი ქართული დამწერლობის ცვლილებაა. ბოტმა ჯერ ქართული ჩანაწერი უნდა ამოიცნოს, შემდეგ კი მომხმარებლის განზრახვა გაარკვიოს და პასუხი არჩეულ ენაზე გასცეს.

სემანტიკური ძიება საკმარისია შეცდომების დასაფარად?

სემანტიკური ძიება აღწერითი მოთხოვნებისა და სინონიმების დამუშავებაში გვეხმარება. მოდელის კოდს, პირის სახელსა და ორაზროვან ტრანსლიტერაციას ლექსიკონი, ზუსტი ძიება ან დამაზუსტებელი კითხვა სჭირდება.

როდის უნდა გადავცეთ შეტყობინება ოპერატორს?

გადაცემა საჭიროა, როცა ინტერპრეტაცია რამდენიმე მცდელობის შემდეგაც გაურკვეველია, მონაცემი მაღალი რისკისაა ან მომხმარებელი ადამიანს პირდაპირ ითხოვს. ოპერატორმა უნდა მიიღოს თავდაპირველი ტექსტიც და ბოტის ინტერპრეტაციაც.