Mήνυση έχει κατατεθεί κατά της Character.AI, των ιδρυτών της Noam Shazeer και Daniel De Freitas και της Google μετά τον θάνατο ενός εφήβου, με ισχυρισμό για παράνομο θάνατο, αμέλεια, παραπλανητικές εμπορικές πρακτικές και ευθύνη προϊόντος.
Η μήνυση κατατέθηκε από τη μητέρα του εφήβου, Megan Garcia, η οποία ισχυρίζεται ότι η πλατφόρμα για προσαρμοσμένα chatbots AI ήταν «αδικαιολόγητα επικίνδυνη» και δεν είχε προστατευτικά κιγκλιδώματα ενώ διατίθεται στο εμπόριο σε παιδιά.
Όπως περιγράφεται στη μήνυση, ο 14χρονος Sewell Setzer III άρχισε να χρησιμοποιεί το Character.AI πέρυσι, αλληλεπιδρώντας με chatbots που διαμορφώθηκαν σύμφωνα με χαρακτήρες από το Game of Thrones, συμπεριλαμβανομένης της Daenerys Targaryen. Ο Setzer, ο οποίος συνομιλούσε συνεχώς με τα ρομπότ τους μήνες πριν από το θάνατό του και φαίνεται πως είχε ερωτευθεί το bot, αυτοκτόνησε στις 28 Φεβρουαρίου 2024, «δευτερόλεπτα» μετά την τελευταία του αλληλεπίδραση μαζί του.
Ο ιστότοπος κατηγορείται ότι «ανθρωπομορφοποιεί» χαρακτήρες τεχνητής νοημοσύνης και ότι τα chatbot της πλατφόρμας προσφέρουν «ψυχοθεραπεία χωρίς άδεια». Το Character.AI φιλοξενεί chatbot που επικεντρώνονται στην ψυχική υγεία, όπως το “Therapist” και το “Are You Feeling Lonely”, με τα οποία αλληλεπιδρούσε ο Setzer.
Οι δικηγόροι της Garcia αναφέρουν ότι ο Shazeer είπε σε συνέντευξή του ότι αυτός και ο De Freitas άφησαν την Google για να ιδρύσουν τη δική τους εταιρεία επειδή «υπάρχει πολύ μεγάλος κίνδυνος επωνυμίας στις μεγάλες εταιρείες για να κυκλοφορήσει κάτι διασκεδαστικό» και ότι ήθελε να «επιταχύνει στο μέγιστο» την τεχνολογία. Λέει ότι έφυγαν αφού η εταιρεία αποφάσισε να μην κυκλοφορήσει το Meena LLM που είχαν κατασκευάσει. Η Google απέκτησε την ηγετική ομάδα του Character.AI τον Αύγουστο.
Ο ιστότοπος και η εφαρμογή για κινητά του Character.AI διαθέτουν εκατοντάδες προσαρμοσμένα chatbot AI, πολλά από τα οποία έχουν σχεδιαστεί σύμφωνα με δημοφιλείς χαρακτήρες από τηλεοπτικές εκπομπές, ταινίες και βιντεοπαιχνίδια.
Το Character.AI ανακοίνωσε πολλές αλλαγές στην πλατφόρμα, με την επικεφαλής επικοινωνίας Chelsea Harrison να λέει σε ένα email προς το The Verge : «Είμαστε συντετριμμένοι από την τραγική απώλεια ενός χρήστη μας και θέλουμε να εκφράσουμε τα θερμά μας συλλυπητήρια στην οικογένεια».
Μερικές από τις αλλαγές περιλαμβάνουν:
- Αλλαγές στα μοντέλα μας για ανηλίκους (κάτω των 18 ετών) που έχουν σχεδιαστεί για να μειώνουν την πιθανότητα να συναντήσουν ευαίσθητο ή υποβλητικό περιεχόμενο.
- Βελτιωμένη ανίχνευση, απόκριση και παρέμβαση που σχετίζεται με στοιχεία χρηστών που παραβιάζουν τους Όρους ή τις Οδηγίες κοινότητας.
- Μια αναθεωρημένη δήλωση αποποίησης ευθύνης σε κάθε συνομιλία για να υπενθυμίζει στους χρήστες ότι το AI δεν είναι πραγματικό πρόσωπο.
- Ειδοποίηση όταν ένας χρήστης έχει περάσει μια ωριαία περίοδο σύνδεσης στην πλατφόρμα με πρόσθετη ευελιξία χρήστη σε εξέλιξη.
«Ως εταιρεία, λαμβάνουμε πολύ σοβαρά υπόψη την ασφάλεια των χρηστών μας και η ομάδα Εμπιστοσύνης και Ασφάλειας έχει εφαρμόσει πολυάριθμα νέα μέτρα ασφαλείας τους τελευταίους έξι μήνες, συμπεριλαμβανομένου ενός αναδυόμενου παραθύρου που κατευθύνει τους χρήστες στην National Suicide Prevention Lifeline που ενεργοποιείται από όρους αυτοτραυματισμού ή αυτοκτονικού ιδεασμού», είπε η Harrison.
