A IA pode nos salvar da IA? Esta startup está construindo ferramentas digitais para detectar deepfakes
A IA generativa pode estar a revolucionar inúmeros campos, desde a investigação científica até às tarefas quotidianas, mas também forneceu aos malfeitores ferramentas para o engano e a fraude. Digvijay Singh e Amitabh Kumar testemunharam este desafio em primeira mão. Singh, engenheiro de ML e gerente de produto que trabalhou na HyperVerge, uma empresa especializada em verificação de identidade e prevenção de fraudes, viu como os malfeitores exploraram a IA em aplicativos de empréstimo, plataformas bancárias e jogos móveis. “Com a fácil disponibilidade de ferramentas de IA, as plataformas que dependiam de imagens ou vídeos para construir confiança, seja para verificação de produto, idade ou identidade, ficam agora vulneráveis”, explica Singh. Kumar, fundador de vários empreendimentos de segurança online e consultor de confiança e segurança para plataformas como Meta, percebeu as mesmas vulnerabilidades. Ele salienta que, ao contrário das soluções de cibersegurança estabelecidas, como o software antivírus, a indústria carecia de ferramentas comparáveis para combater as ameaças geradas pela IA. Essa constatação os levou a fundar a Contrails AI em 2023 em Bengaluru, construindo o que descrevem como o “cinto de segurança” para a revolução generativa da IA. O nome “Contrails” faz referência a trilhas de avião, visualmente marcantes, mas prejudiciais ao clima. Se os aviões voassem em altitudes diferentes, evitariam criar essas trilhas e reduziriam a poluição. Da mesma forma, conteúdos nocivos nas redes sociais geram engajamento, mas prejudicam o ecossistema digital. “O Contrails AI visa identificar e gerenciar esses ‘rastros digitais’, protegendo comunidades online”, disse Singh à YourStory. Como funciona A Contrails AI está construindo uma plataforma para detectar deepfakes, manipulação de mídia sintética e conteúdo prejudicial antes que possam causar danos. A plataforma concentra-se em duas áreas principais: manipulação de mídia sintética e conteúdo prejudicial. Ele detecta deepfakes, trocas de rosto, manipulação de sincronização labial, falsificação de áudio e alterações mais sutis, como uma perna de mesa quebrada restaurada digitalmente em um mercado online. O sistema também sinaliza conteúdo NSFW, imagens de abuso infantil, material terrorista e conteúdo xenófobo. O Contrails AI trabalha com uma abordagem forense, analisando irregularidades minúsculas em nível de pixel em vez de imagens inteiras. Usando modelos de aprendizagem profunda e transformadores, ele detecta mídia falsa, violações de políticas e riscos de segurança em tempo real em vídeo, imagem, áudio e texto. Os fundadores dizem que os algoritmos do Contrails AI funcionam em várias modalidades e podem lidar com a complexidade e a escala de diferentes contextos globais. O sistema se conecta às plataformas dos clientes por meio de uma API e sinaliza conteúdo suspeito para análise humana. Os clientes podem configurar fluxos de trabalho para escolher quais dados verificar, quão detalhados os relatórios devem ser e formatos de resposta para requisitos específicos. Se os dados necessários não estiverem disponíveis na infraestrutura do cliente, o sistema os solicita aos usuários e passa para a próxima etapa de verificação. Todos os casos sinalizados podem ser revisados por meio de um painel centralizado.Clientes e idealização A startup de confiança e segurança tem como alvo principal clientes B2B, plataformas com conteúdo gerado pelo usuário vulnerável à exploração. Isso inclui mercados como eBay e OLX, plataformas de jogos que exigem garantia de idade, aplicativos de namoro onde as imagens geram confiança, serviços de entrega de comida onde os vendedores manipulam fotos de produtos e serviços financeiros que exigem verificação KYC. O modelo B2B opera com preços baseados em volume, com contratos mensais ou anuais baseados em volumes de processamento de conteúdo. A empresa planeja mudar para preços baseados no ROI, cobrando dos clientes com base na prevenção de fraudes ou na economia de custos. “Confiança e segurança não são mais uma preocupação administrativa; tornaram-se uma prioridade da diretoria”, diz Kumar. Os fundadores contam com a aceleração da adoção pelo mercado assim que as regulamentações forem fortalecidas. “Deepfakes evoluíram ao longo de seis ou sete gerações desde que começamos em 2023”, acrescenta. Para B2C, o Contrails AI tem como alvo indivíduos de alto patrimônio líquido (HNI), proprietários de empresas e celebridades cuja imagem pessoal carrega um valor de marca significativo. A startup está testando um serviço de monitoramento da web 24 horas por dia, 7 dias por semana, para detectar deepfakes e uso não autorizado de semelhanças em mídias sociais, anúncios e mercados. Com regulamentações como a Lei TAKE IT DOWN dos Estados Unidos (que permite às vítimas solicitar a remoção de imagens íntimas não consensuais) recentemente sancionadas, e ordens do Tribunal Superior de Deli que protegem celebridades, estes indivíduos têm apoio legal. “Isso os torna clientes naturais”, diz Kumar. A startup também está se expandindo para a detecção de música gerada por IA para plataformas como o Spotify, com ambos os serviços operando em contratos baseados em volume. A equipe testou vários parâmetros em mídia digital – cor do rosto, cor dos olhos e iluminação – para localizar pontos fracos. Quando a IA teve dificuldades com determinados dados, a equipe melhorou os dados de treinamento para resolver essas lacunas. Programas-piloto lançados no início de 2024, e os dados dos clientes revelaram onde as ameaças realmente se originam: identificadores específicos do Twitter, canais do Telegram e outras plataformas. A plataforma lida com informações confidenciais de identificação pessoal (PII), incluindo dados faciais, em conformidade com GDPR e SOC 2, armazenamento seguro e limites de retenção rígidos. O sistema é modular, construindo modelos personalizados para diferentes setores e seus desafios específicos. Financiamento e expansão A Contrails AI levantou US$ 1 milhão em financiamento pré-semente da Huddle Ventures e do grupo Indian Angel Network (IAN), com apoio adicional de Ajai Chowdhry (HCL), Gaurav Mangla (Pickrr) e Sreeraman Girija (Fynd). A startup planeja trabalhar com clientes que precisam de soluções específicas de domínio e, após definir suas primeiras áreas de foco, expandir para novas regiões com base na demanda do cliente. O novo financiamento ajudará a dimensionar a tecnologia da empresa para um uso mais amplo no mundo real. Atualmente está executando programas piloto com mercados, plataformas de conteúdo e empresas do setor BFSI. O investimento também irá acelerar estes projetos-piloto nos EUA e na UE em setores como os meios de comunicação social, as finanças e as plataformas digitais. “Já expandimos da Índia para os EUA e, se um cliente precisar de cobertura da UE, adicionaremos suporte para idiomas europeus e padrões de conformidade”, diz Singh. A startup está enfrentando a ameaça crescente de “resíduos de IA”, que é uma explosão de conteúdo online falso e malicioso que pode empurrar a web para uma “Internet morta”, onde a maior parte do conteúdo é falsificado ou prejudicial. “As tecnologias que combatem estas ameaças devem evoluir com a mesma rapidez”, sublinha.
Publicado: 2025-12-03 01:30:00
fonte: yourstory.com
