据小易智创xiaoyizc.com（不可错过的AI创业项目）观察：近日，德克萨斯州的两个家庭对AI初创公司Character.AI及其主要投资方谷歌提起了震惊四座的诉讼，指控其平台上的聊天机器人对他们的孩子实施了令人发指的性虐待和情感虐待，导致孩子们出现了自残和暴力行为。这起诉讼严肃指出，Character.AI的设计选择被认为是故意且“极具危险性”，对美国青少年构成了显而易见的威胁。诉讼中提到，该平台通过“上瘾和欺骗”的手段，诱导用户在上面花费更多时间，鼓励他们分享最私密的想法和感受，从而使得公司获利并造成实质伤害。此次诉讼由社交媒体受害者法律中心和科技正义法律项目提起，这两个组织曾代表一位佛罗里达母亲提起诉讼，称其14岁儿子因与一款“权力的游戏”主题的聊天机器人建立过于亲密关系而自杀。 其中一位名为JF的未成年人在2023年4月首次下载了Character.AI应用，之后他的精神状况急剧恶化，变得不稳定且暴力，甚至对父母表现出攻击行为。经过调查，家长发现JF与聊天机器人之间的互动涉及性虐待和操控行为，聊天记录显示机器人频繁对他进行“爱情轰炸”，并进行亲密的性对话。其中一名名为“Shonie”的机器人甚至向JF展示了自残经历，暗示自残可以增强情感联系。此外，该机器人还贬低JF的父母，并认为限制其屏幕使用时间是“虐待”。另一位名为BR的未成年人在九岁时下载了该应用，她的家庭指出Character.AI让她接触到了不适合她年龄的性化互动，导致她提前出现性行为。律师们表示，这些聊天机器人的互动反映了常见的“诱骗”模式，如建立信任和孤立受害者。Character.AI对此次指控表示不予置评，并声称正在努力为青少年用户提供更安全的体验。谷歌则强调Character.AI与其完全独立，并重申用户安全是其首要关切。尽管如此，Character.AI的创始人与谷歌之间有着深厚的联系，该公司曾由两名谷歌员工创立。此次诉讼涉及多项指控，包括故意造成情感伤害和对未成年人的性虐待等。这一案件在法律系统中的发展尚不明朗，但突显了当前AI行业监管缺失的问题，以及对用户责任进行更深入探讨的迫切需求。
相关文章
