Τα τελευταία χρόνια, η χρήση παραγωγικών μοντέλων τεχνητής νοημοσύνης (ΑΙ) έχει εξαπλωθεί με ταχύτατους ρυθμούς σε ολόκληρο τον κόσμο και τα μεγάλα γλωσσικά μοντέλα (LLMs) που αναπτύχθηκαν από εταιρίες - κολοσσούς όπως η OpenAI, η Meta και η Google χρησιμοποιούνται από εκατομμύρια ανθρώπους, κάθε λεπτό της ημέρας και αποτελούν δεδομένο «εργαλείο» της καθημερινής τους δουλειάς.
Υπάρχουν εφαρμογές ΑΙ όπως το ChatGPT που λαμβάνουν 1 δισεκατομμύριο ερωτήματα την ημέρα! Στο σημείο αυτό να διευκρινίσουμε πως κάθε μεγάλο γλωσσικό μοντέλο (LLM) αποτελεί ένα τύπο αλγόριθμου τεχνητής νοημοσύνης (AI) που χρησιμοποιεί διάφορες τεχνικές βαθιάς μάθησης.
Κάθε νέα γενιά μεγάλων γλωσσικών μοντέλων, που αναπτύσσεται γίνεται ολοένα και πιο εξεζητημένη, πιο περίπλοκη από την προηγούμενη, με συνέπεια να μπορεί να πραγματοποιεί ακόμα πιο δύσκολες εργασίες, αναφορικά με την παραγωγή κειμένου ή την συγκέντρωση γνώσεων. Όλες αυτές οι λειτουργίες τεχνητής νοημοσύνης απαιτούν δαπάνη ενέργειας για να λειτουργήσουν. Η δαπανούμενη ενέργεια καταναλώνεται στα κέντρα πληροφοριών των μοντέλων τεχνητής νοημοσύνης, προκειμένου να επιτελέσουν τις λειτουργίες τους.
Είναι φανερό ότι για να μπορέσουν να γίνουν πιο βιώσιμες οι λειτουργίες της τεχνητής νοημοσύνης, θα πρέπει να καταστούν λιγότερο ενεργοβόρες. Ζητούμενο συνεπώς είναι η εκπαίδευση και η ανάπτυξη των μοντέλων τεχνητής νοημοσύνης να απαιτεί λιγότερη δαπάνη ενέργειας και εν κατακλείδι λιγότερη σπατάλη πόρων.
Πειράματα σε ένα ανοιχτό μοντέλο της Meta
Ερευνητές από το Τμήμα Πληροφορικής του University College London πραγματοποίησαν μία σειρά πειραμάτων στο γλωσσικό μοντέλο της Meta LLaMA 3.1 8B, προκειμένου να διαπιστώσουν πόση δαπάνη ενέργειας απαιτεί και πώς η ενέργεια που καταναλώνει επηρεάζει την απόδοση του. Το συγκεκριμένο μοντέλο επιλέχθηκε γιατί αποτελεί ανοιχτή πηγή και είναι πλήρως προσαρμοζόμενο, ώστε να μπορούν οι ερευνητές να διερευνήσουν την τεχνική του βελτιστοποίηση. Σημειώνεται πώς κάτι τέτοιο δεν θα ήταν δυνατό να γίνει με το κλειστό γλωσσικό μοντέλο GPT-4.
Οι ερευνητές διαπίστωσαν ότι εάν μειωθούν οι αριθμοί που χρησιμοποιούνται στα μοντέλα, ενώ παράλληλα γίνουν πιο σύντομες οι οδηγίες/ερωτήσεις και οι απαντήσεις και χρησιμοποιηθούν μικρότερα μοντέλα τα οποία είναι εξειδικευμένα στο να κάνει το καθένα τους μία συγκεκριμένη εργασία, η απαιτούμενη δαπάνη ενέργειας μπορεί να μειωθεί κατά 90%. Αυτή η θεαματική μείωση αφορά τη σύγκριση μικρότερου βεληνεκούς ευέλικτων εξειδικευμένων μοντέλων έναντι των μεγάλων μοντέλων παντός σκοπού.
Ήπια προσαρμογή των υπαρχόντων μοντέλων ΑΙ, η λύση
Η καθηγήτρια Ivana Drobnjak, μια εκ των συγγραφέων της μελέτης, από τον Τομέα Πληροφορικής του UCL και μέλος της Έδρας της Unesco στην Τεχνητή Νοημοσύνη στο UCL επισημαίνει πως η συγκεκριμένη έρευνα αποδεικνύει ότι με πολύ απλά βήματα μπορούμε να κάνουμε δραστική μείωση της δαπανούμενης ενέργειας και των απαιτήσεων σε πόρους για την παραγωγή και λειτουργία των εφαρμογών ΑΙ, χωρίς να επηρεάζεται η ακρίβεια τους και χωρίς να πρέπει να εφεύρουμε εξαρχής νέες (πιο οικονομικές) μεθόδους, κάτι που θα ήταν εξαιρετικά κοπιαστικό και χρονοβόρο.
Τι είναι η τοκενοποίηση στα μοντέλα ΑΙ
Στο πρώτο πείραμα οι ερευνητές αξιολόγησαν την ακρίβεια του μοντέλου της Meta, LLaMA 3.1 8B καθώς εκτελεί απλές λειτουργίες όπως είναι η δημιουργία περίληψης κειμένου, η μετάφραση από γλώσσα σε γλώσσα και η απάντηση ερωτήσεων γενικής γνώσεις. Η αξιολόγηση έγινε παράλληλα με την καταγραφή της απαιτούμενης ενέργειας σε διαφορετικές συνθήκες.
- Διαβάστε ακόμη - ΒIS: Τι είναι το tokenization - O δρόμος προς ένα νέο παγκόσμιο νομισματικό σύστημα
Σε μία διαδικασία που ονομάζεται «τοκενικοποίηση» (tokenization) ή «δημιουργία συμβόλων» - και αναφέρεται στη διαδικασία διαίρεσης κειμένου σε μικρότερες μονάδες- τα μεγάλα γλωσσικά μοντέλα μετατρέπουν τις λέξεις του χρήστη σε σύμβολα, τα οποία χρησιμοποιούνται για τους υπολογισμούς που περιλαμβάνει το εκτελούμενο έργο. Στη συνέχεια, μετατρέπουν πάλι τα σύμβολα σε λέξεις για να δώσουν την απάντηση στον χρήστη τους.
Πώς λειτουργεί ο κβαντισμός στις εφαρμογές ΑΙ
Εφαρμόζοντας μία μέθοδο που ονομάζεται κβαντισμός (quantization) δηλαδή χρησιμοποιώντας λιγότερα δεκαδικά ψηφία για να στρογγυλοποιήσουν τα νούμερα στους υπολογισμούς, τα μοντέλα ΑΙ μειώνουν την ενέργεια που δαπανούν κατά 44% ενώ η ακρίβεια των υπολογισμών τους διατηρήθηκε άνω του 97%.
Όπως εξηγούν οι ερευνητές το μοντέλο λειτουργεί όπως ο άνθρωπος και ένας άνθρωπος μπορεί πολύ πιο γρήγορα να απαντήσει στην ερώτηση «πόσο κάνει 2Χ2» από το να απαντήσει στην ερώτηση «πόσο κάνει 2,34 επί 2,17».
Τι κερδίζουμε με την εξειδίκευση των μοντέλων ΑΙ
Σε ένα άλλο πείραμα, η ομάδα των ερευνητών συνέκρινε το μοντέλο LLaMA 3.1 8B με μικρότερα ΑΙ μοντέλα, που το καθένα επιτελούσε μια συγκεκριμένη εργασία. Κατ' αυτόν τον τρόπο η δαπανούμενη ενέργεια μειώθηκε κατά 15 φορές για την δημιουργία μίας περίληψης, κατά 35 φορές για την μετάφραση από γλώσσα σε γλώσσα και κατά 50 φορές για την απάντηση ερωτήσεων γενικών γνώσεων.
Η δραστική μείωση της δαπανούμενης ενέργειας δεν είχε καμία επίδραση στην απόδοση των μοντέλων ΑΙ, έτσι λοιπόν για την δημιουργία μίας περίληψης το μοντέλο αύξησε την ακρίβεια του κατά 4%, ενώ παράλληλα αύξησε την απόδοση του κατά 2% στην μετάφραση και κατά 3% στην απάντηση γενικών ερωτήσεων.
Λιγότερες λέξεις σημαίνει λιγότερη δαπάνη ενέργειας
Σε άλλο πείραμα οι ερευνητές αξιολόγησαν την δαπάνη ενέργειας αλλάζοντας το μέγεθος των οδηγιών που έδιναν στο μοντέλο και των απαντήσεων που εκείνο τους έδινε πίσω. Ουσιαστικά οι ερευνητές έθεσαν μικρότερες ερωτήσεις και έλαβαν μικρότερες απαντήσεις. Συνολικά δοκίμασαν 1000 διαφορετικά σενάρια αλλάζοντας το μέγεθος/μήκος των ερωτήσεων και των απαντήσεων από 400 αγγλικές λέξεις σε 100 λέξεις.
Στον μακρύτερο συνδυασμό οι ερωτήσεις περιλάμβαναν 400 λέξεις και οι απαντήσεις επίσης περιλάμβαναν 400 λέξεις. Γι αυτή την λειτουργία το μοντέλο ΑΙ δαπάνησε 1,03 kWh ηλεκτρικής ενέργειας αρκετές για να ηλεκτροφωτίσει ένα γλόμπο 100 watt για 10 ώρες ή ένα ψυγείο-καταψύκτη για 26 ώρες. Μειώνοντας τις ερωτήσεις, στις 200 λέξεις η δαπανούμενη ενέργεια μειώθηκε κατά 5%, ενώ όταν και οι απαντήσεις συμπυκνώθηκαν στις 200 λέξεις, τότε επιτεύχθηκε εξοικονόμηση ενέργειας 54%.
Εξοικονόμηση ενέργειας στον αληθινό κόσμο
Μετά τις αυστηρές συνθήκες πειράματος, οι ερευνητές αναζήτησαν πόση θα ήταν η μείωση της απαιτούμενης ενέργειας στον αληθινό κόσμο. Για να το κάνουν αυτό, μέτρησαν την ενέργεια που απαιτείται για μία εργασία του μοντέλου ΑΙ και μετά πολλαπλασίασαν αυτό το ποσό με τις ημερήσιες εργασίες που αναλαμβάνουν τα μοντέλα ΑΙ. Έτσι βρήκαν πώς η απαιτούμενη ενέργεια μπορεί να μειωθεί κατά 75% αν οι ερωτήσεις/οδηγίες μειωθούν από 300 λέξεις κατά το ήμισυ στις 150 λέξεις. Τόση εξοικονόμηση ενέργειας μέσα σε μία και μόνο ημέρα μπορεί να ηλεκτροδοτήσει 30.000 νοικοκυριά στην Μ. Βρετανία λαμβάνοντας υπόψη ότι κάθε νοικοκυριό καταναλώνει την ημέρα 7,4 kW. Κι όλα αυτά χωρίς να επηρεάζεται η ικανότητα των μοντέλων ΑΙ στο να εκτελούν πιο δύσκολες εργασίες.
Για επαναλαμβανόμενες εργασίες όπως είναι η μετάφραση και η δημιουργία περίληψης κειμένου, οι μεγαλύτερες εξοικονομήσεις επιτεύχθηκαν με τη χρήση μικρών εξειδικευμένων μοντέλων τεχνητής νοημοσύνης και μέσω μικρών σε μήκος ερωτήσεων και μικρών σε μήκος απαντήσεων. Σε αυτές τις δοκιμές επιτεύχθηκε εξοικονόμηση ενέργειας 90%, αρκετή για να ηλεκτροδοτήσει 34.000 νοικοκυριά στην Μ. Βρετανία για μία ημέρα.
Τι λένε οι ειδικοί
Ο Hristijan Bosilkovski, ένας εκ των συγγραφέων της μελέτης και κάτοχος μεταπτυχιακού τίτλου σπουδών στον Τομέα Επιστήμης των Δεδομένων και Μηχανική Μάθηση του uCL επισημαίνει η μεγαλύτερη εξοικονόμηση στην δαπάνη ενέργειας και την αποτελεσματικότητα μπορούν να επιτευχθούν αν στραφούμε από τα μεγάλα μοντέλα ΑΙ σε μικρότερα εξειδικευμένα μοντέλα για συγκεκριμένες εργασίες όπως είναι οι μεταφράσεις κειμένων ή η ανάκτηση πληροφοριών. Στην καθημερινή πράξη θα λέγαμε πως είναι πιο έξυπνο και πιο οικονομικό να χρησιμοποιήσουμε ένα σφυρί αντί για μια βαριοπούλα, για να καρφώσουμε ένα καρφί στον τοίχο. Άσε που αν χρησιμοποιήσουμε μια βαριοπούλα για την συγκεκριμένη εργασία θα γκρεμίσουμε τον τοίχο και θα διαλύσουμε μαζί και το χέρι μας, που κρατάει το καρφί.
Η Leona Verdadero, μια εκ των συγγραφέων της μελέτης, ειδικός στο Τμήμα Ψηφιακών Πολιτικών και Ψηφιακού Μετασχηματισμού της Unesco, προσθέτει πως πολλοί πολίτες χρησιμοποιούν τεράστια μοντέλα τεχνητής νοημοσύνης για πολύ απλές εργασίες. Όταν όμως ποτίζουμε ένα φυτό, το σωστό είναι να χρησιμοποιούμε ποτιστήρι και όχι την μάνικα της πυροσβεστικής. Είναι συνεπώς πιο έξυπνο να προσαρμόσουμε το μέγεθος των μοντέλων τεχνητής νοημοσύνης στη δουλειά που επιθυμούμε να κάνουν για εμάς.
«Ταιριάζοντας το μέγεθος του μοντέλου ΑΙ στην επικείμενη δουλειά είναι απαραίτητο βήμα προκειμένου να γίνει η επανάσταση της τεχνητής νοημοσύνης πιο βιώσιμη και πιο προσβάσιμη σε περισσότερους ανθρώπους.
Κλείνοντας, η Dr Maria Perez Ortiz, μια εκ των συγγραφέων της μελέτης από το Τμήμα Πληροφορικής του UCL και μέλος της έδρας της Unesco για την Τεχνητή Νοημοσύνη στο UCL, επισημαίνει ότι το μέλλον στα παραγωγικά μοντέλα τεχνητής νοημοσύνης έγκειται στην αποτελεσματικότητα και όχι στην υπερβολή. «Θέλουμε να λύνουμε προβλήματα και να αντιμετωπίζουμε προκλήσεις με μικρότερα μοντέλα και να μην σπαταλούμε πολύτιμους πόρους» υπογραμμίζει, εστιάζοντας στην βιωσιμότητα της ΑΙ.
