Apple remove da App Store aplicativos que geravam falso nudes usando a IA

Com a Inteligência Artificial cada vez mais presente, é normal que os aplicativos comecem a usar esta tecnologia, ainda que para fins menos próprios. Foi isso que agora foi descoberto na App Store, com 3 apps removidas pela Apple, por permitirem gerar nudes usando a IA.

A Apple tem uma reputação de ser muito exigente com os aplicativos que tem na App Store. O processo de aprovação destas é extenso e demorado, para garantirem que apenas as que cumprem as regras definidas são autorizadas, sem espaço para abusos ou situações anormais para os usuários.

Ainda que com este processo em curso, a Apple removeu da App Store 3 aplicativos que claramente violavam as suas regras. Estes podiam ser usadas para gerar imagens de nus pelos usuários, bastando que estes carregassem as imagens que pretendessem alterar.

Embora as imagens não representem nudez real, estas propostas conseguiam gerar imagens que podiam ser usadas para assédio, chantagem e invasão de privacidade. A descoberta destes apps foi feita pela 404 Media, que rapidamente as reportou à Apple. A ideia era que a empresa avaliasse o cumprimento das regras e a sua presença da App Store.

Apesar de ter tomado as medidas corretas, a verdade é que a Apple deveria ter agido mais cedo. Surpreendentemente, esses apps estavam disponíveis na App Store desde 2022, anunciando o recurso “despir” em sites para adultos. A denúncia feita também sugere que os aplicativos foram inicialmente autorizados a permanecer no App Store se removessem os anúncios dos sites para adultos.

No entanto, um dos apps apresentou anúncios até 2024, quando a Google a retirou da Play Store. É preocupante ver a natureza reativa da moderação da loja de apps do iPhone e o potencial dos programadores explorarem este tipo de falhas nas regras impostas.

Esta situação acontece a poucos dias da apresentação do iOS 18 pela Apple e dos seus (supostos) recursos de IA. A geração de imagens tem sido uma das formas usadas para explorar esta tecnologia, ainda que com regras bem definidas sobre a sua utilização.