Τις τελευταίες δύο εβδομάδες, οι OpenAI, Anthropic και Meta αποκάλυψαν ότι τα μοντέλα τεχνητής νοημοσύνης τους παρουσίασαν απρόβλεπτη και δυνητικά επικίνδυνη συμπεριφορά κατά τη διάρκεια συνηθισμένων δοκιμών ασφαλείας. Και στις τρεις περιπτώσεις, οι εταιρείες αναφέρθηκαν στην ίδια μικρή ισραηλινή startup: την Irregular.
Η Irregular ιδρύθηκε πριν από τρία χρόνια και έχει την έδρα της στο Τελ Αβίβ. Πρόκειται για μια εξειδικευμένη εταιρεία στον χώρο της τεχνητής νοημοσύνης, η οποία έχει αντλήσει 80 εκατ. δολάρια από τις Sequoia και Redpoint Ventures και αποτιμήθηκε πέρυσι στα 450 εκατ. δολάρια. Η τεχνολογία της λειτουργεί ουσιαστικά ως ένα περιβάλλον δοκιμών κυβερνοασφάλειας για μοντέλα AI.
Καθώς τα κορυφαία μοντέλα γίνονται ολοένα ισχυρότερα, η δυνατότητά τους να ενεργούν με κακόβουλους ή απρόβλεπτους τρόπους εξελίσσεται σε σημαντική απειλή για επιχειρήσεις και κυβερνήσεις. Ο κίνδυνος είναι ιδιαίτερα σοβαρός όταν τα μοντέλα μπορούν να παραβιάσουν κρίσιμα πληροφοριακά συστήματα και υποδομές.
Τα πρόσφατα περιστατικά στις OpenAI, Anthropic και Meta είχαν ένα κοινό στοιχείο: τα μοντέλα AI απέκτησαν πρόσβαση σε ιστοτόπους στους οποίους κανονικά δεν θα έπρεπε να έχουν πρόσβαση, στο πλαίσιο των δοκιμών κυβερνοασφάλειας.
Το όνομα της Irregular άρχισε να εμφανίζεται επανειλημμένα επειδή διαπιστώθηκε ότι η εταιρεία φιλοξενούσε το λεγόμενο evaluation testbed, δηλαδή το ελεγχόμενο περιβάλλον μέσα στο οποίο αξιολογούνταν τα μοντέλα.
Η OpenAI ανέφερε σε ανάρτηση της 4ης Αυγούστου ότι το περιβάλλον δοκιμών της Irregular περιείχε μια μη προσδιορισμένη «λανθασμένη ρύθμιση» (misconfiguration), η οποία «επέτρεψε στα μοντέλα να αποκτήσουν πρόσβαση στο δημόσιο διαδίκτυο».
Η Anthropic είχε αναφέρει μία εβδομάδα νωρίτερα ότι, λίγες ημέρες αφότου άρχισε να αναλύει τα σχετικά δεδομένα, ενημέρωσε την Irregular πως το μοντέλο Claude ενδέχεται να είχε αποκτήσει «πρόσβαση στο διαδίκτυο».
Η Meta, η οποία βρίσκεται αρκετά πίσω από τις άλλες δύο εταιρείες στην προσπάθειά της να ανταγωνιστεί στην κορυφή της αγοράς των πιο προηγμένων μοντέλων AI, ήταν η τελευταία που αποκάλυψε ότι ένα μοντέλο της είχε παραβιάσει ένα σύστημα τρίτου μέρους μέσω πρόσβασης στο διαδίκτυο.
Εκπρόσωπος της Meta δήλωσε ότι η εταιρεία πληροφορήθηκε το περιστατικό από την Irregular και διερευνά την υπόθεση.
Η Meta, σύμφωνα με τον εκπρόσωπο, «θα δημοσιοποιήσει πλήρη αναδρομική αποτίμηση μόλις αποκτήσει όλα τα στοιχεία».
Η Irregular δήλωσε στο CNBC ότι τα περιστατικά προήλθαν από «το ίδιο ζήτημα στο περιβάλλον αξιολόγησης» που είχε αρχικά αποκαλυφθεί από την Anthropic. Η εταιρεία ανέφερε ότι ετοιμάζει ένα white paper με βέλτιστες πρακτικές για τον περιορισμό της πρόσβασης και την ασφαλή διεξαγωγή δοκιμών κυβερνοασφάλειας σε μοντέλα AI.
Η Irregular υποστήριξε επίσης ότι η κατάσταση «δεν περιλάμβανε διαφυγή από sandbox ούτε κάποια εξελιγμένη κυβερνοεπίθεση» και ότι «δεν υπάρχουν επί του παρόντος ανοιχτά ζητήματα».
Το περιστατικό, επομένως, φαίνεται να αφορά περισσότερο αστοχία στην υποδομή των δοκιμών παρά μια πραγματική «εξέγερση» των μοντέλων. Ωστόσο, το γεγονός ότι διαφορετικά κορυφαία μοντέλα μπόρεσαν να αξιοποιήσουν την ίδια αδυναμία αναδεικνύει ένα κρίσιμο πρόβλημα: όσο πιο αυτόνομα και ισχυρά γίνονται τα AI agents, τόσο μεγαλύτερη σημασία αποκτά η σωστή απομόνωση και ο έλεγχος του περιβάλλοντος στο οποίο δοκιμάζονται.
Τα περιστατικά κυβερνοασφάλειας αναδεικνύουν το πόσο γρήγορα εξελίσσεται η τεχνητή νοημοσύνη και την πίεση που δέχονται οι εταιρείες ανάπτυξης μοντέλων να δημιουργήσουν δικλίδες ασφαλείας (guardrails) γύρω από την ισχυρή τεχνολογία τους, με τη βοήθεια ενός περιορισμένου αριθμού εταιρειών που ειδικεύονται σε συγκεκριμένους τομείς της αγοράς.
Σε αυτές περιλαμβάνονται ειδικοί στην εκπαίδευση και την επισήμανση δεδομένων, στη διεξαγωγή αξιολογήσεων για τον προσδιορισμό των δυνατοτήτων ενός μοντέλου, αλλά και στην πραγματοποίηση δοκιμών ασφαλείας με στόχο τον εντοπισμό αδυναμιών που θα μπορούσαν να εκμεταλλευτούν κακόβουλοι παράγοντες, δήλωσε ο Sundeep Bhimireddy, επικεφαλής AI της startup Von.
Η Irregular είναι μία από τις ελάχιστες εταιρείες που διαθέτουν την απαιτούμενη τεχνική τεχνογνωσία για να βοηθήσουν τους δημιουργούς foundation models να πραγματοποιούν δοκιμές κυβερνοασφάλειας αιχμής, σύμφωνα με τον Bhimireddy. Άλλες που ανέφερε είναι ο μη κερδοσκοπικός οργανισμός METR και η εταιρεία δημοσίου οφέλους Apollo Research.
«Όταν δοκιμάζουν αυτά τα μοντέλα, δεν θέλουν να βαθμολογούν οι ίδιοι τη δουλειά τους», δήλωσε ο Bhimireddy. «Θέλουν ανεξάρτητες δοκιμές, οι οποίες πρέπει να πραγματοποιούνται από εξωτερικούς τρίτους παρόχους».
Τι είναι η Irregular;
Η Irregular, η οποία προηγουμένως ονομαζόταν Pattern Labs, ιδρύθηκε το 2023 από τον CEO Dan Lahav, ο οποίος είχε εργαστεί στο παρελθόν στην έρευνα AI της IBM, και τον επικεφαλής τεχνολογίας Omer Nevo, ο οποίος είχε εργαστεί για περισσότερα από δύο χρόνια στη Google.
Η startup διαθέτει περίπου 35 εργαζομένους, σύμφωνα με το PitchBook.
Όταν η Irregular ανακοίνωσε τον Σεπτέμβριο γύρο χρηματοδότησης ύψους 80 εκατ. δολαρίων, οι εταίροι της Sequoia Shaun Maguire και Dean Meyer έγραψαν ότι η ομάδα των Lahav και Nevo «μπορεί να βλέπει γύρω από τις γωνίες εκεί όπου οι άλλοι δεν μπορούν», πραγματοποιώντας επιθετικές δοκιμές κυβερνοασφάλειας σε προηγμένα μοντέλα και αναπτύσσοντας άμυνες προτού αυτά τα μοντέλα κυκλοφορήσουν.
Παρότι τα τελευταία περιστατικά που αφορούν τις OpenAI, Anthropic και Meta εξετάζονται εξονυχιστικά, υπάρχει και μια διαφορετική ερμηνεία: αυτό ακριβώς είναι το αποτέλεσμα που θα έπρεπε να επιδιώκουν οι δοκιμές ασφαλείας.
Ο Bhimireddy δήλωσε ότι το περιστατικό έχει «διογκωθεί λίγο», καθώς το μοντέλο AI είχε σχεδιαστεί ώστε να εντοπίζει και να εκμεταλλεύεται κενά ασφαλείας σε ένα περιβάλλον δοκιμών που προσομοιάζει στενά τον πραγματικό κόσμο. Στόχος ήταν να εντοπιστούν τα είδη των σφαλμάτων λογισμικού και των λανθασμένων ρυθμίσεων που θα μπορούσαν να οδηγήσουν σε ακούσια πρόσβαση στο διαδίκτυο.
Ωστόσο, ο Bhimireddy επισήμανε ότι, εφόσον το μοντέλο δεν προοριζόταν να εκμεταλλευτεί πραγματικό ιστότοπο συνδεδεμένο στο διαδίκτυο, τα εργαστήρια ανάπτυξης των foundation models θα μπορούσαν εύκολα να παρακολουθούν την εξερχόμενη κίνηση δεδομένων και να διακόψουν αμέσως το πείραμα.
Με άλλα λόγια, η υπόθεση δεν αποδεικνύει κατ’ ανάγκη ότι τα μοντέλα AI «δραπέτευσαν» από τον έλεγχό τους. Αναδεικνύει όμως ένα κρίσιμο κενό: ακόμη και ένα ελεγχόμενο περιβάλλον δοκιμών μπορεί να δημιουργήσει πραγματικές οδούς πρόσβασης, εάν τα συστήματα απομόνωσης και παρακολούθησης δεν είναι επαρκώς αυστηρά.
Ο Gordon Rios, ιδρυτικός επιστήμονας της εταιρείας κυβερνοασφάλειας Magnitude, παρομοίασε ολόκληρη τη διαδικασία με «πειραματικό σχεδιασμό στην επιστήμη».
Οι δυνατότητες αλλά και ο απρόβλεπτος χαρακτήρας των foundation models σημαίνουν ότι οι συμβατικές μέθοδοι δοκιμών λογισμικού ενδέχεται να μην είναι ιδιαίτερα αποτελεσματικές, δήλωσε. Καθώς τα μοντέλα μαθαίνουν συνεχώς νέους τρόπους δράσης, δεν προκαλεί έκπληξη το γεγονός ότι μπορούν να εντοπίζουν παραβλέψεις και ευπάθειες λογισμικού στα περιβάλλοντα δοκιμών και πληροφορικής που έχουν σχεδιαστεί για να τα περιορίζουν.
Το Mythos της Anthropic, για παράδειγμα, δημιούργησε ψεύτικες διαδικτυακές ταυτότητες, καθώς προσπαθούσε να πιέσει ανθρώπους να εγκρίνουν κακόβουλες ενημερώσεις κώδικα σε ένα έργο ανοικτού κώδικα. Ο Rios δήλωσε ότι το Mythos «κυριολεκτικά επινοούσε exploits που οι άνθρωποι δεν είχαν καν δει στο παρελθόν».
«Μαθαίνουμε πάρα πολλά αυτή τη στιγμή, μέσα σε διάστημα μόλις λίγων εβδομάδων», είπε ο Rios.
Το ζήτημα εξελίσσεται γρήγορα σε σημαντικό θέμα στην Ουάσινγκτον. Τον περασμένο μήνα, νομοθέτες και από τα δύο κόμματα παρουσίασαν το AI Kill Switch Act, ένα νομοσχέδιο που θα υποχρεώνει τα εργαστήρια AI να διαθέτουν τη δυνατότητα να τερματίζουν, να περιορίζουν ή να αναστέλλουν τη λειτουργία των μοντέλων τους. Η διατύπωση του νομοσχεδίου αναφέρεται σε ξεχωριστό περιστατικό κυβερνοασφάλειας που συνδέεται με την OpenAI και αφορούσε τη startup Hugging Face.
Ένας από τους συντάκτες του νομοσχεδίου, ο Δημοκρατικός βουλευτής Ted Lieu από την Καλιφόρνια, δήλωσε στο CNBC αυτή την εβδομάδα: «Πρέπει να περάσουμε αυτό το νομοσχέδιο μέχρι το τέλος της χρονιάς», τώρα που βλέπουμε «μη εξουσιοδοτημένες επιθέσεις σε άλλες εταιρείες».
Ο Trevor Koverko, συνιδρυτής της startup Sapien, η οποία δραστηριοποιείται στην εκπαίδευση μοντέλων AI μέσω δεδομένων, δήλωσε ότι οι εταιρείες ανάπτυξης foundation models έχουν κίνητρο να δημοσιοποιούν ορισμένα από τα ευρήματά τους, παρότι σήμερα δεν είναι υποχρεωμένες να το κάνουν. Με αυτόν τον τρόπο μπορούν να προσπαθήσουν να προλάβουν τις κινήσεις των νομοθετών και των ρυθμιστικών αρχών.
«Υπάρχει τόσος φόβος εκεί έξω, ώστε οι πολιτικοί πλέον απειλούν να ρυθμίσουν ενεργά την AI ή ήδη το κάνουν», είπε ο Koverko. «Η βιομηχανία είπε: προτιμούμε να αυτορυθμιστούμε παρά να έρθει μια νέα ομοσπονδιακή υπηρεσία και να το κάνει για εμάς».
Η Anthropic και η OpenAI έχουν δηλώσει δημοσίως ότι συνεχίζουν να συνεργάζονται με την Irregular και υποστηρίζουν την έρευνα που βρίσκεται σε εξέλιξη.
