A autonomia do agente sem grades de proteção é um pesadelo do SRE
João Freitas é gerente geral e vice-presidente de engenharia de IA e automação da PagerDutyÀ medida que o uso da IA continua a evoluir em grandes organizações, os líderes buscam cada vez mais o próximo desenvolvimento que gerará um grande ROI. A última onda desta tendência contínua é a adoção de agentes de IA. No entanto, como acontece com qualquer nova tecnologia, as organizações devem garantir a adoção de agentes de IA de uma forma responsável que lhes permita facilitar a velocidade e a segurança. Mais de metade das organizações já implantaram agentes de IA, até certo ponto, e mais esperam seguir o exemplo nos próximos dois anos. Mas muitos dos primeiros adoptantes estão agora a reavaliar a sua abordagem. Quatro em cada 10 líderes tecnológicos lamentam não ter estabelecido uma base de governação mais forte desde o início, o que sugere que adotaram a IA rapidamente, mas com margem para melhorar as políticas, regras e melhores práticas concebidas para garantir o desenvolvimento e utilização responsáveis, éticos e legais da IA. permissão expressa, ignorando ferramentas e processos aprovados. A TI deve criar os processos necessários de experimentação e inovação para introduzir formas mais eficientes de trabalhar com IA. Embora a IA sombra exista desde que as próprias ferramentas de IA, a autonomia dos agentes de IA torna mais fácil a operação de ferramentas não sancionadas fora do âmbito da TI, o que pode introduzir novos riscos de segurança. Em segundo lugar, as organizações devem colmatar lacunas na propriedade e responsabilização da IA para se prepararem para incidentes ou processos que correm mal. A força dos agentes de IA reside na sua autonomia. No entanto, se os agentes agirem de forma inesperada, as equipas devem ser capazes de determinar quem é responsável por resolver quaisquer problemas. O terceiro risco surge quando há falta de explicabilidade das ações tomadas pelos agentes de IA. Os agentes de IA são orientados para objetivos, mas a forma como os atingem pode não ser clara. Os agentes de IA devem ter uma lógica explicável subjacente às suas ações para que os engenheiros possam rastrear e, se necessário, reverter ações que possam causar problemas nos sistemas existentes. Embora nenhum destes riscos deva atrasar a adoção, eles ajudarão as organizações a garantir melhor a sua segurança. Seguindo essas três etapas, as organizações podem minimizar esses riscos.1: Fazer da supervisão humana o padrão A agência de IA continua a evoluir em ritmo acelerado. No entanto, ainda precisamos de supervisão humana quando é dada aos agentes de IA a capacidade de agir, tomar decisões e perseguir um objetivo que possa impactar os principais sistemas. Um ser humano deve estar informado por padrão, especialmente para casos de uso e sistemas críticos para os negócios. As equipes que utilizam IA devem compreender as ações que podem ser tomadas e onde podem precisar intervir. Comece de forma conservadora e, com o tempo, aumente o nível de agência dado aos agentes de IA. Em conjunto, as equipes de operações, engenheiros e profissionais de segurança devem compreender o papel que desempenham na supervisão dos fluxos de trabalho dos agentes de IA. Cada agente deve receber um proprietário humano específico para supervisão e responsabilização claramente definidas. As organizações também devem permitir que qualquer ser humano sinalize ou substitua o comportamento de um agente de IA quando uma ação tiver um resultado negativo. Ao considerar tarefas para agentes de IA, as organizações devem compreender que, embora a automação tradicional seja boa no tratamento de processos repetitivos e baseados em regras com entradas de dados estruturados, os agentes de IA podem lidar com tarefas muito mais complexas e adaptar-se a novas informações de uma forma mais autónoma. Isso os torna uma solução atraente para todos os tipos de tarefas. Mas à medida que os agentes de IA são implementados, as organizações devem controlar as ações que os agentes podem realizar, especialmente nas fases iniciais de um projeto. Assim, as equipes que trabalham com agentes de IA devem ter caminhos de aprovação para ações de alto impacto para garantir que o escopo do agente não se estenda além dos casos de uso esperados, minimizando o risco para o sistema mais amplo.2: Fortalecer a segurança A introdução de novas ferramentas não deve expor um sistema a novos riscos de segurança. As organizações devem considerar plataformas de agentes que cumpram elevados padrões de segurança e sejam validadas por certificações de nível empresarial, como SOC2, FedRAMP ou equivalente. Além disso, os agentes de IA não devem ter rédea solta nos sistemas de uma organização. No mínimo, as permissões e o escopo de segurança de um agente de IA devem estar alinhados com o escopo do proprietário, e quaisquer ferramentas adicionadas ao agente não devem permitir permissões estendidas. Limitar o acesso do agente de IA a um sistema com base em sua função também garantirá que a implantação ocorra sem problemas. Manter registros completos de cada ação realizada por um agente de IA também pode ajudar os engenheiros a entender o que aconteceu no caso de um incidente e rastrear o problema.3: Tornar os resultados explicáveis O uso da IA em uma organização nunca deve ser uma caixa preta. O raciocínio por trás de qualquer ação deve ser ilustrado para que qualquer engenheiro que tente acessá-la possa compreender o contexto que o agente usou para a tomada de decisão e acessar os rastros que levaram a essas ações. As entradas e saídas para cada ação devem ser registradas e acessíveis. Isso ajudará as organizações a estabelecer uma visão geral sólida da lógica subjacente às ações de um agente de IA, fornecendo um valor significativo caso algo dê errado. A segurança ressalta o sucesso dos agentes de IA Os agentes de IA oferecem uma enorme oportunidade para as organizações acelerarem e melhorarem seus processos existentes. No entanto, se não derem prioridade à segurança e a uma governação forte, poderão expor-se a novos riscos. À medida que os agentes de IA se tornam mais comuns, as organizações devem garantir que possuem sistemas implementados para medir seu desempenho e a capacidade de agir quando criam problemas.Leia mais de nossos escritores convidados. Ou considere enviar sua própria postagem! Veja nossas diretrizes aqui. Bem-vindo à comunidade VentureBeat!Nosso programa de postagem de convidados é onde especialistas técnicos compartilham insights e fornecem aprofundamentos neutros e não adquiridos sobre IA, infraestrutura de dados, segurança cibernética e outras tecnologias de ponta que moldam o futuro das empresas.Leia mais em nosso programa de postagem de convidados – e verifique nossas diretrizes se estiver interessado em contribuir com um artigo de sua autoria!
Publicado: 2025-12-21 19:00:00
fonte: venturebeat.com
