A Justiça de São Paulo decidiu, no início de junho de 2025, a favor da cantora Gretchen em um processo contra o X, plataforma de rede social, por conta da divulgação de um vídeo falso produzido com inteligência artificial. A decisão determina que o X retire o conteúdo do ar de forma definitiva e que forneça os dados do usuário responsável pela publicação. O X, no entanto, ainda pode recorrer dessa decisão judicial.
O vídeo em questão, que circulou pela internet em 2024, utiliza a imagem da cantora de forma manipulada, apresentando um convite fictício para um evento denominado “Cabaré da Cinderela”, no qual supostamente aconteciam atividades sexuais. Além disso, o vídeo faz referência a um episódio da vida pública de Gretchen: a campanha que ela realizou para a Prefeitura de Itamaracá, no estado de Pernambuco, por volta dos anos 2010. A manipulação da imagem e do contexto é caracterizada como um deepfake, uma tecnologia de inteligência artificial que altera vídeos reais, fazendo com que a pessoa pareça dizer ou fazer algo que nunca aconteceu.

Em resposta à publicação do vídeo, a assessoria de Gretchen informou que a cantora entrou com a ação judicial em abril de 2025, buscando justiça pela falsa representação. O tribunal de São Paulo analisou o caso e, em sua decisão, determinou a remoção do vídeo do X, além da obrigação de divulgar o endereço de IP da pessoa responsável pela postagem. O IP, que é um identificador único de dispositivos conectados à internet, pode ser crucial para localizar o autor do conteúdo.
A defesa do X, durante o processo, citou o artigo 19 do Marco Civil da Internet, que estabelece que uma plataforma só pode ser responsabilizada por conteúdo gerado por terceiros caso descumpra uma ordem judicial para removê-lo. Esse mesmo artigo está sendo debatido no Supremo Tribunal Federal (STF), que, nos últimos dias, formou uma maioria para alterar esse entendimento, permitindo que plataformas sejam responsabilizadas por conteúdos ilegais antes que haja uma ordem judicial explícita.
No caso de Gretchen, a juíza Camila Rodrigues Borges de Azevedo, da 19ª Vara Cível de São Paulo, já havia determinado que o X retirasse o vídeo do ar. A decisão foi cumprida, mas, além disso, a plataforma será obrigada a entregar informações sobre o usuário responsável pela postagem, fornecendo o número de IP. Essa medida visa garantir que o autor da publicação possa ser identificado e, possivelmente, responsabilizado por seus atos.
A decisão judicial é vista como um avanço importante na luta contra a disseminação de conteúdos falsos e manipulados na internet. No entanto, especialistas apontam que, embora o caso represente um passo significativo, ainda há lacunas na legislação brasileira quando se trata de responsabilizar as plataformas digitais por conteúdos prejudiciais, como deepfakes.