AppsEm 16 de outubro, a Apple atualizou as regras da App Store para deixar explícito que aplicativos com conteúdo criado ou compartilhado por usuários precisam prevenir e remover imagens íntimas sem consentimento, inclusive as geradas por ferramentas de IA. Para quem desenvolve apps sociais, comunidades ou produtos de criação de imagens para iPhone e iPad, a consequência prática é direta: filtros antes da publicação, denúncia acessível, bloqueio de contas e uma resposta rápida precisam fazer parte do produto — e continuar funcionando depois da aprovação.
A mudança não proíbe, por si só, qualquer aplicativo que use inteligência artificial para criar imagens. A Apple diz que o material pornográfico já era proibido e que as novas regras estendem explicitamente as salvaguardas de conteúdo gerado por usuários às imagens íntimas não consensuais feitas com IA. A pauta importa porque transforma um risco conhecido em uma expectativa mais clara durante a revisão e na operação contínua do app.
O que a Apple esclareceu
No comunicado de 16 de outubro, a Apple destacou duas mudanças. A primeira atualiza a diretriz 1.2: conteúdo íntimo não consensual, incluindo o criado com ferramentas de IA, deve ser prevenido e removido das plataformas. A Apple diz que falhar em implementar salvaguardas adequadas ou não corrigir violações depois de uma notificação pode levar a consequências sob o Developer Code of Conduct e à remoção do app da loja.
A diretriz 1.2 já exigia que apps com conteúdo criado, enviado ou compartilhado por usuários filtrassem material ofensivo antes de publicar, oferecessem meios de denúncia, permitissem bloquear usuários abusivos e disponibilizassem contato. A versão atual das App Review Guidelines enumera redes sociais, serviços com conteúdo criado por usuários e apps de criação de conteúdo por IA entre os exemplos sujeitos a essa regra. O foco, portanto, não é apenas o modelo que gera uma imagem: é o fluxo inteiro em que uma pessoa consegue produzir, enviar ou distribuir conteúdo.
A segunda mudança, na diretriz 2.5.19, deixa mais explícita a proibição de funções ocultas, inativas ou não documentadas. A Apple cita apps que mostram uma finalidade durante a revisão e liberam capacidades prejudiciais só depois da aprovação — uma forma de “bait-and-switch”. O comunicado diz que casos desse tipo podem levar à remoção do app e da conta do Apple Developer Program. A nota oficial sobre a atualização registra que essa regra esclarece uma política anterior; não é uma autorização para esconder controles ou trocar o funcionamento do aplicativo após a revisão.
O que muda para uma equipe de produto
A equipe deve revisar o caminho da imagem desde a entrada até a distribuição. Se o app gera imagens, o bloqueio precisa alcançar também os pedidos e resultados que possam produzir ou disseminar material íntimo não consensual. Se pessoas enviam fotos ou publicam conteúdo, a análise precisa ocorrer antes da exibição e continuar disponível para denúncias posteriores.
Diagrama editorial: controles de moderação antes e depois da publicação
Esse fluxo pode combinar regras automatizadas, revisão humana em casos ambíguos e ferramentas para denúncia e bloqueio. A política não prescreve um fornecedor ou algoritmo específico, nem afirma que um classificador automático resolverá todos os casos. O critério de produto é conseguir mostrar que há prevenção, canal de denúncia, tratamento oportuno e ação contra abuso. Como a regra menciona prevenção e remoção, um filtro que só atua depois de uma reclamação deixa uma lacuna; uma triagem prévia sem mecanismo de denúncia também.
Vale fazer essa revisão antes de submeter uma versão nova. Descreva à App Review como o conteúdo é moderado, quais recursos estão disponíveis para usuários e como uma conta de demonstração acessa os fluxos relevantes. O guia da Apple para fornecer informações completas à revisão recomenda explicar conceito, público, funcionalidades e serviços externos usados pelo app. Essa documentação ajuda a tornar o comportamento verificável, sem depender de uma demonstração incompleta.
Uma lista de verificação prática
Antes de enviar ou atualizar um app com UGC ou geração de imagens, confirme quatro pontos:
- Prevenção: há um controle antes de o conteúdo aparecer para outras pessoas? Inclui imagens geradas por IA e arquivos enviados por usuários?
- Denúncia e bloqueio: a pessoa consegue reportar conteúdo e bloquear contas sem procurar uma página externa? Quem recebe a denúncia e em quanto tempo ela é tratada?
- Remoção e rastreabilidade: a equipe consegue remover conteúdo, aplicar medidas contra reincidência e registrar decisões de forma proporcional, respeitando privacidade e retenção de dados?
- Revisão transparente: a versão enviada à Apple apresenta as mesmas funções que o produto oferece depois da aprovação? A descrição e as notas explicam qualquer fluxo que dependa de conta, serviço externo ou configuração?
A página de ajuda de App Review reúne instruções para preparar envios e responder durante o processo. Ela não substitui as diretrizes: serve para orientar a apresentação do app e acompanhar a revisão. Uma implementação madura também mantém políticas, equipe responsável e procedimento de resposta atualizados quando novos recursos de geração ou compartilhamento entram no produto.
Para quem ainda está escolhendo a arquitetura, a revisão das regras da loja é parte da decisão entre app nativo, híbrido ou PWA: distribuição por loja acrescenta responsabilidades de revisão que precisam entrar no planejamento. E, em qualquer projeto que use geração de conteúdo, os cuidados com dados, validação e supervisão descritos em IA generativa nas empresas ajudam a separar uma demonstração interessante de um processo confiável.
A regra da loja não é uma nova lei brasileira
As diretrizes da Apple definem critérios para distribuição e permanência na App Store; não são uma norma legal brasileira nem uma avaliação completa das obrigações locais de uma empresa. Cada produto ainda precisa analisar suas responsabilidades jurídicas, de privacidade e de segurança conforme o público e o serviço oferecido.
A atualização também não deve ser lida como uma proibição geral de IA generativa. O recado mais preciso é que ferramentas de criação não afastam os controles exigidos quando há conteúdo produzido ou compartilhado por usuários, e que a funcionalidade submetida à revisão precisa corresponder ao que chega ao público. Para equipes da Pump e clientes que planejam apps com imagens, perfis ou comunidades, vale transformar essas exigências em requisitos testáveis antes do lançamento, não em uma correção emergencial depois de uma denúncia.
