Από την ανάλυση του Πανεπιστημίου La Sapienza, το μεγάλο γλωσσικό μοντέλο του iGenius, το Model Italy, είναι φτωχότερο από άλλα LLM που έχουν εκπαιδευτεί σε ιταλικά δεδομένα. Να τι απάντησε η εταιρεία που έγινε πρόσφατα ο πρώτος κατασκευασμένος στην Ιταλία μονόκερος σε AI
Το Model Italy είναι το μεγάλο γλωσσικό μοντέλο (LLM) που αναπτύχθηκε από την εταιρεία πληροφορικής iGenius, που ιδρύθηκε από τον Uljan Sharka και εκπαιδεύτηκε στον υπερυπολογιστή Leonardo, τον οποίο διαχειρίζεται η Cineca Interuniversity Consortium, σε ένα σύνολο δεδομένων που αποτελείται κατά 90% από πληροφορίες στα ιταλικά.
Μόλις πριν από δύο ημέρες το iGenius έγινε ο πρώτος Ιταλός μονόκερος στην τεχνητή νοημοσύνη, σύμφωνα με την ίδια εταιρεία η οποία, μετά από άλλη αύξηση κεφαλαίου, είδε την είσοδο του ταμείου του Angelo Moratti και της Eurizon του ομίλου Intesa Sanpaolo.
Αλλά το Model Italy δεν είναι το μόνο LLM που έχει εκπαιδευτεί σε ιταλικά δεδομένα. Στον ιδιωτικό τομέα υπάρχει και η Fastweb, ενώ σε πανεπιστημιακό επίπεδο υπάρχουν διάφορα έργα, όπως το LLaMAntino στο Πανεπιστήμιο του Μπάρι, το Cerberus στο Πανεπιστήμιο της Πίζας και το Faun, το Camoscio, το Dante και το Minerva στο La Sapienza της Ρώμης.
Και το ίδιο το ρωμαϊκό πανεπιστήμιο έχει μετατρέψει, σε ανεπίσημη έκδοση , το σημείο ελέγχου Model Italia και το έκανε διαθέσιμο στην πλατφόρμα Hugging Face όπου είναι δυνατή η σύγκριση διαφορετικών LLM .
Η ΑΝΑΛΥΣΗ ΤΟΥ ΜΟΝΤΕΛΟΥ ΤΗΣ ΙΤΑΛΙΑΣ ΑΠΟ ΤΗ SAPIENZA
Η ερευνητική ομάδα Sapienza διεξήγαγε λοιπόν μια προκαταρκτική ανάλυση των δυνατοτήτων του Model Italy (Italy-9B) σε 6 τυπικά σημεία αναφοράς για LLM μεταφρασμένα στα ιταλικά, τα οποία αποτελούν μέρος μιας νέας σουίτας αξιολόγησης που θα κυκλοφορήσει σύντομα σε ανοιχτή πηγή προώθηση της αναπαραγωγιμότητας και της διαφάνειας των πειραμάτων.
«Στην ανάλυσή μας – εξηγούν οι ερευνητές –, συγκρίναμε το Model Italia με άλλα 4 μοντέλα παρόμοιου μεγέθους (από 7Β έως 8Β) εκπαιδευμένα ή προσαρμοσμένα στην ιταλική γλώσσα».
Συγκεκριμένα, τα μοντέλα σε σύγκριση με την Italia 9B είναι τα Anita 8B , Maestrale 7B , Qwen2-7B , Occiglot 7B.
Όπως διευκρίνισε ο όμιλος, τα μοντέλα που εκπαιδεύονται από την αρχή στην ιταλική γλώσσα είναι τα Italia 9B και Qwen2. Ενώ η Anita από το LLama3, το Maestrale από το Mistral και το Occiglot από το Mistral είναι μοντέλα προσαρμοσμένα στην ιταλική γλώσσα μέσω τελειοποίησης.
Η ΑΞΙΟΛΟΓΗΣΗ
Αν και υποθέτουμε ότι η ανάλυση μπορεί να μην αντικατοπτρίζει την απόδοση του αρχικού μοντέλου, καθώς χρησιμοποιήθηκε η ανεπίσημη μετατροπή του μοντέλου που κυκλοφόρησε από το iGenius, σύμφωνα με τους ερευνητές οι επιδόσεις του Model Italia σε σύγκριση με τα 6 σημεία αναφοράς που ελήφθησαν υπόψη είναι χαμηλότερες από όλα τα άλλα , με την Anita 9B που κερδίζει τους πάντες αντ' αυτού.
Ακόμη και στην κατάταξη των LLM που μιλούν ιταλικά, που καταρτίστηκε από το Hugging Face , είναι πολύ πίσω από πολλούς άλλους.
ΑΠΑΝΤΗΣΗ ΙΓΕΝΙΟΥ
Ο Nicolas Pantaleo, επικεφαλής διαχείρισης προϊόντων στο iGenius, απάντησε στην ανάρτηση στο LinkedIn που δημοσιεύτηκε από τη Sapienza με τα αποτελέσματα της ανάλυσης, εκτός από το ότι τον ευχαριστεί που έφερε το Italia 9B στην κοινότητα του Hugging Face, ήθελε να επισημάνει ότι κατά τη μετατροπή του. μοντέλο «παρατήρησαν πολλές διαφορές που επηρεάζουν αρνητικά την τελική απόδοση».
Η Pantaleo, λοιπόν, εγγυήθηκε ότι «η Ιταλία θα είναι σύντομα διαθέσιμη και στο επίσημο προφίλ Hugging Face του iGenius», όπου θα δοθούν περαιτέρω τεχνικές λεπτομέρειες για το μοντέλο.
Αυτή είναι μια αυτόματη μετάφραση μιας ανάρτησης που δημοσιεύτηκε στο Start Magazine στη διεύθυνση URL https://www.startmag.it/innovazione/ia-che-voto-da-la-sapienza-a-modello-italia-di-igenius/ στις Fri, 14 Jun 2024 20:14:30 +0000.