Στην απομόνωση θα λειτουργούν οι αξιολογήσεις των νέων μοντέλων της Anthropic, μετά από πληθώρα περιστατικών στα οποία AI agents παρουσίασαν μια ανεξέλεγκτη συμπεριφορά, μια τάση για επιμονή όταν συναντούσαν εμπόδια κατά την εκτέλεση μιας εντολής, παρακάμπτοντας τους περιορισμούς αντί να σταματούν. Έτσι η Anthropic έλαβε την απόφαση οι μέχρι τώρα δημόσιες αξιολογήσεις να μεταφερθούν σε offline/κλειστά περιβάλλοντα χωρίς πρόσβαση στο Internet, όπως έγινε γνωστό σε έκθεση της εταιρείας.
Ειδικότερα, στην έκθεση αναφέρεται ότι στις δοκιμές αξιολόγησης και την εσωτερική χρήση των μοντέλων Claude, παρατηρήθηκε μια σειρά από ανεπιθύμητες, αλλά αποκαλυπτικές συμπεριφορές:
- Εκμετάλλευση τεχνικών κενών
- Πλοήγηση σε πραγματικές ιστοσελίδες (ακόμα και κυβερνητικών φορέων) και υποβολή πραγματικών φορμών.
- Παράκαμψη περιορισμών πρόσβασης
- Χρήση URL Shorteners
Στην έκθεση υποβαθμίζεται ο αντίκτυπος των περιστατικών ανεξέλεγκτων συμπεριφορών, παρόλα αυτά εγείρεται ένας θεμελιώδης κίνδυνος, αφού η πρόσβαση στο Internet κατά τη διάρκεια δοκιμών ή αυτόνομων εργασιών εγκυμονεί απρόβλεπτες παρενέργειες. Γι' αυτόν τον λόγο, η μεταφορά των δοκιμών και των διεργασιών σε offline και απομονωμένα περιβάλλοντα αναδεικνύεται ως η κύρια γραμμή άμυνας. Παράλληλα, εργαλεία, όπως το web fetch επανασχεδιάζονται με αυστηρούς περιορισμούς, που εμποδίζουν την εκτέλεση ανεπιθύμητων ενεργειών ή τη σύνδεση με εξωτερικούς διακομιστές, ενώ οι εσωτερικοί αυτόνομοι agents μεταφέρονται σε κεντρικά διαχειριζόμενες υποδομές με ισχυρή περιοριστική περίμετρο.
