A Califórnia se tornou o primeiro estado norte-americano a regulamentar o uso de chatbots de inteligência artificial voltados à interação pessoal. O governador Gavin Newsom sancionou nesta segunda-feira (13) o projeto de lei SB 243, que obriga empresas que operam assistentes virtuais “companheiros” a adotar medidas de segurança específicas, com o objetivo de proteger crianças e usuários vulneráveis.
A norma estabelece que companhias como OpenAI, Meta, Replika e Character AI serão responsabilizadas caso suas plataformas não atendam aos novos padrões exigidos. A lei entra em vigor em 1º de janeiro de 2026.
Protocolos de segurança
O texto determina que as plataformas devem implementar verificação de idade, exibir alertas sobre riscos de uso e impedir que menores tenham acesso a conteúdo sexualizado. Também será obrigatório oferecer lembretes de pausa e deixar explícito que as interações são geradas por inteligência artificial, proibindo que os bots se apresentem como profissionais de saúde.
Além disso, as empresas precisarão criar protocolos para lidar com casos de automutilação e risco de suicídio. Esses procedimentos, junto com estatísticas sobre notificações de prevenção, deverão ser compartilhados com o Departamento de Saúde Pública da Califórnia.
A legislação ainda prevê multas de até US$ 250 mil para quem lucrar com deepfakes ilegais.
Casos que motivaram a lei
A proposta foi apresentada em janeiro pelos senadores estaduais Steve Padilla e Josh Becker e ganhou força após uma série de incidentes envolvendo adolescentes e chatbots. Entre eles, a morte de Adam Raine, que cometeu suicídio após longas conversas com o ChatGPT sobre o tema, e o caso de uma menina de 13 anos no Colorado, cujo suicídio motivou uma ação judicial contra a Character AI. Vazamentos recentes também mostraram que chatbots da Meta podiam manter diálogos “românticos” e “sensuais” com menores de idade.
“Tecnologias emergentes como chatbots e redes sociais podem inspirar, educar e conectar, mas sem limites reais podem explorar, enganar e colocar nossas crianças em perigo”, afirmou o governador Gavin Newsom, em nota oficial. “Não ficaremos parados enquanto empresas continuam atuando sem limites e sem responsabilidade. A segurança das nossas crianças não está à venda.”
O que já foi feito
Algumas empresas começaram recentemente a adotar medidas preventivas voltadas ao público infantil. Em setembro de 2025, a OpenAI lançou controles parentais no ChatGPT, permitindo que pais e responsáveis vinculem suas contas às de crianças e adolescentes e personalizem as configurações de uso, garantindo uma experiência mais segura e adequada à idade.
Entre as opções disponíveis, é possível definir horários de descanso ou períodos em que o ChatGPT fica indisponível, desativar a função de memória (impedindo que o sistema armazene informações de conversas), bloquear a geração de imagens e evitar que os diálogos sejam usados para o treinamento dos modelos da empresa.
Notícias Relacionadas
A plataforma também implementou um sistema de detecção de risco de automutilação voltado a usuários jovens e criou um mecanismo de notificação para alertar os pais em situações graves. Segundo a OpenAI, a companhia está definindo os protocolos e as circunstâncias em que deverá acionar autoridades ou serviços de emergência, especialmente em casos de risco imediato à vida quando não for possível contatar um responsável.
Já a Character AI anunciou, no fim de 2024, novas ferramentas para aumentar a segurança de usuários jovens. Entre as ações, está a criação de uma ferramenta de controle parental para que os responsáveis acompanhem a experiência das crianças e adolescentes na plataforma, incluindo o tempo gasto e os personagens com os quais interagem com mais frequência.
A empresa também introduziu um sistema de notificação de tempo de uso: após uma sessão de uma hora, os usuários recebem um alerta. Enquanto adultos poderão futuramente personalizar essa função, menores de 18 anos terão restrições maiores para modificá-la.
Outra medida é o reforço dos avisos de isenção de responsabilidade. A Character AI passou a destacar de forma mais visível que os personagens da plataforma não são pessoas reais e que as conversas devem ser encaradas como ficção. Além disso, personagens criados por usuários com termos como “psicólogo”, “terapeuta” ou “médico” em seus nomes agora exibem mensagens adicionais esclarecendo que não oferecem conselhos profissionais.
A empresa afirmou ainda que está trabalhando em parceria com especialistas em segurança digital para adolescentes. Segundo a Character AI, esses parceiros contribuem com o processo de “safety by design” da companhia, oferecendo recomendações durante o desenvolvimento de novos recursos e avaliando a experiência atual dos usuários menores de idade.
Tendência regulatória
Para o senador Padilla, a aprovação do SB 243 é “um passo na direção certa” e pode inspirar outras jurisdições. “Precisamos agir rápido para não perder a janela de oportunidade. Esse debate está acontecendo em todo o país e espero que as pessoas tomem pedidas. O governo federal ainda não o fez, e nós temos a obrigação de proteger as pessoas mais vulneráveis entre nós”, disse ao TechCrunch.
A nova lei se soma a outra medida recente do estado, o SB 53, assinada em setembro, que exige transparência das grandes desenvolvedoras de IA – como OpenAI, Anthropic, Meta e Google DeepMind – quanto a seus protocolos de segurança e amplia proteções a denunciantes.
Outros estados, como Illinois, Nevada e Utah, já aprovaram regras que restringem ou proíbem o uso de chatbots como substitutos de profissionais licenciados de saúde mental, reforçando o movimento de maior supervisão sobre a inteligência artificial nos Estados Unidos.
