Explicação do sistema à prova de falhas de detecção do Apple CSAM
Hoje a Apple lançou um documento que descreve o sistema de revisão do modelo de ameaças à segurança incluído em seus novos recursos de segurança infantil. A Apple esclareceu as várias camadas de segurança e caminhos com os quais seu novo sistema de segurança infantil funciona. O esclarecimento de hoje foi parte de uma série de discussões que a Apple teve após o anúncio de seus novos recursos de segurança infantil – e a inevitável controvérsia que se seguiu.
Existem duas partes neste sistema de proteção expandida para crianças : uma envolvendo contas e Mensagens do Compartilhamento Familiar, a outra lidando com Fotos do iCloud. O sistema de Mensagens requer que uma conta dos pais ou responsável ative o recurso para que funcione. Este é um sistema opcional.
Compartilhamento familiar com mensagens
Com o Family Sharing, uma conta dos pais ou responsável pode optar por um recurso que pode detectar imagens sexualmente explícitas. Este sistema usa apenas um classificador de aprendizado de máquina no dispositivo no aplicativo Mensagens para verificar as fotos enviadas por e para o dispositivo de uma determinada criança.
Este recurso não compartilha dados com a Apple. Especificamente, “a Apple não obtém conhecimento sobre as comunicações de nenhum usuário com esse recurso habilitado e não obtém conhecimento sobre ações de crianças ou notificações dos pais”.
O dispositivo da criança analisa as fotos enviadas de ou para o dispositivo com o aplicativo Mensagens da Apple. A análise é feita no dispositivo (offline). Se uma foto sexualmente explícita for detectada, ela não ficará visível para a criança, e a criança terá a opção de tentar continuar para ver a imagem – nesse ponto, a conta dos pais será notificada.
Se a criança confirmar que deseja ver essa imagem, ela será preservada no dispositivo da criança até o momento em que os pais possam confirmar o conteúdo da foto. A foto é salva pelo recurso de segurança e não pode ser excluída pela criança sem o consentimento dos pais (por meio do acesso dos pais do dispositivo físico).
Detecção de CSAM com iCloud
O segundo recurso funciona especificamente com imagens armazenadas em servidores Apple nas bibliotecas de fotos do iCloud. A detecção de CSAM pode potencialmente detectar imagens de CSAM e, se forem detectadas imagens de CSAM suficientes, os dados serão enviados à Apple para verificação humana. Se o sistema de verificação humana da Apple confirmar que o material CSAM está presente, a conta infratora será encerrada e as autoridades legais apropriadas serão contatadas.
A Apple detectará imagens CSAM na primeira parte deste processo usando bancos de dados de hash CSAM conhecidos. Os bancos de dados de hash CSAM incluem um conjunto de parâmetros de detecção criados por organizações cujo trabalho é usar imagens CSAM conhecidas para criar os referidos conjuntos de parâmetros.
A Apple sugeriu esta tarde que cada verificação seja feita com hashes que se cruzam entre duas ou mais organizações de segurança infantil. Isso significa que nenhuma organização de segurança infantil pode adicionar um parâmetro (hash, aqui) que possa iniciar o processo de verificação de material não relacionado ao CSAM.
A Apple também garante que quaisquer hashes perceptuais que existam em listas de hash de várias organizações em uma única jurisdição soberana (mas não em outras) sejam descartados. Dessa forma, não há como um único país coagir várias organizações a incluir hashes para material não pertencente ao CSAM (por exemplo, fotos de símbolos ou atividades antigovernamentais).
A Apple sugere que as chances de uma foto ter sido falsamente identificada como CSAM neste ponto do processo são de uma em um trilhão.
Neste ponto, a Apple ainda não tem acesso aos dados que estão sendo analisados por seu sistema. Somente quando a conta de uma única pessoa atinge o limite de 30 imagens sinalizadas é que o sistema compartilha dados com a Apple para análise posterior.
MAS – antes disso, há um segundo hash perceptivo independente para verificar as 30+ imagens sinalizadas. Se a verificação secundária confirmar esta segunda verificação, os dados serão compartilhados com revisores humanos da Apple para confirmação final.
De acordo com a documentação divulgada hoje pela Apple, “a Apple recusará todos os pedidos para adicionar imagens não CSAM ao banco de dados hash CSAM perceptivo” E “A Apple também recusará todos os pedidos para instruir revisores humanos a arquivar relatórios para qualquer coisa que não seja materiais CSAM para contas que excedem o limite de correspondência. ”
Se um revisor humano da Apple confirmar que uma conta contém material CSAM, ele informará às autoridades competentes. Nos Estados Unidos, essa autoridade é o Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC).
Fique atento, em qualquer caso
A documentação da Apple da parte do iCloud Photos deste sistema de segurança infantil diz que as verificações perceptivas são feitas apenas em seu pipeline de armazenamento em nuvem para imagens carregadas no iCloud Photos. A Apple confirmou que este sistema “não pode atuar em nenhum outro conteúdo de imagem no dispositivo”. A documentação também confirma que “em dispositivos e contas onde o Fotos do iCloud está desabilitado, absolutamente nenhuma imagem sofre hash perceptivelmente.
O sistema de verificação perceptual de Mensagens também permanece no dispositivo, localmente. O sistema de verificação do Message Family Sharing é feito usando o hardware da própria criança, não qualquer tipo de servidor da Apple. Nenhuma informação sobre este sistema de verificação é compartilhada com ninguém além da criança e dos pais – e mesmo assim, os pais devem acessar fisicamente o dispositivo da criança para ver o material potencialmente ofensivo.
Independentemente do nível de segurança que a Apple define e das promessas que a Apple faz sobre o que será verificado e relatado, e para quem, você está certo em querer saber tudo o que há para saber sobre esta situação. Sempre que você vir uma empresa empregando um sistema com o qual o conteúdo gerado pelo usuário é verificado, por qualquer motivo, você está certo em querer saber como e por quê.
Considerando o que entendemos sobre esse sistema até agora, há boas notícias, dependendo da sua visão. Se você quiser evitar que a Apple empregue qualquer tipo de verificação de suas fotos, parece provável que você seja capaz de fazê-lo – assumindo que você está disposto a evitar Fotos do iCloud e não está usando Mensagens para enviar fotos a crianças cujos pais faça com que eles se inscrevam com uma conta do Family Sharing.
Se você espera que tudo isso leve a Apple a contribuir para impedir predadores de compartilhamento de material CSAM, parece possível que PODERIA acontecer. Só serão realmente os infratores que, por algum motivo, não saberão como desativar sua conta do Fotos do iCloud … mas ainda assim. Pode ser um grande passo na direção certa.