Especialistas em inteligência artificial afirmam que a falha não deve ser encarada como um erro de programação, mas como uma característica inerente à tecnologia.
Dessa forma, a avaliação ganha relevância à medida que a IA deixa de apenas responder perguntas e passa a executar tarefas. Consequentemente, cresce o potencial de impacto de cada equívoco.
Da resposta à ação: o novo desafio
O problema se torna mais complexo à medida que a IA deixa de apenas responder perguntas e passa a executar tarefas. Sobretudo, quanto mais a tecnologia avança nessa escala, maior o potencial de impacto.
Por exemplo, um sistema que apenas sugere uma resposta pode ser revisado por um humano antes de qualquer efeito prático. Já um agente autônomo que executa uma ação pode gerar consequências antes que alguém perceba o erro. Dessa forma, essa diferença muda a forma de avaliar riscos.
Diante desse cenário, a possibilidade de falha não pode ser tratada como uma exceção, mas como um componente a ser previsto. A mudança de patamar impõe que empresas repensem seus modelos de controle. Não se trata de eliminar o erro, mas de estabelecer mecanismos que limitem seus efeitos. Portanto, os mecanismos de controle precisam ser contínuos e adaptáveis.
Pontos de contato para controles
Segundo um dos especialistas ouvidos, os principais pontos de contato que devem orientar os controles são:
- os dados acessados pela IA;
- as decisões das quais ela participa;
- as ações que ela pode executar.
Esse conjunto forma uma espécie de perímetro de atuação do modelo. É nesse perímetro que devem incidir as salvaguardas, de acordo com o especialista. A supervisão humana, nessa visão, precisa estar prevista em cada uma dessas etapas. Além disso, esses três eixos também servem para definir quem é responsável por cada decisão.
Segurança não pode ser posterior
Ou seja, a segurança não deveria ser pensada como uma camada adicionada depois que o produto está pronto. O sistema precisa ser desenhado desde o início considerando que o modelo pode errar, produzir uma resposta inadequada ou exigir supervisão humana.
Controles desde a concepção
Portanto, isso altera a ordem do processo de desenvolvimento. Em vez de criar a tecnologia e depois mitigar riscos, as equipes precisam incorporar controles desde a concepção. A ideia é que a segurança faça parte do produto, e não um anexo. No longo prazo, a segurança deixa de ser um custo e passa a ser um requisito.
Ferramentas simples e protegidas
Segundo ele, a solução é oferecer ferramentas corporativas com sandbox, guardrails e supervisão, mas que também tenham uma experiência de uso suficientemente simples.
Ele afirmou: “Você tem que melhorar a UX do ferramental de segurança para as pessoas”.
Dessa forma, a fala reforça a ideia de que medidas de proteção precisam ser incorporadas ao fluxo de trabalho, e não tratadas como obstáculo. Se a ferramenta for complexa, os profissionais tendem a contorná-la. Assim sendo, a simplicidade é tão importante quanto a própria salvaguarda. A experiência do usuário, portanto, não é um detalhe, mas parte da estratégia.
A corrida contra hackers
Ademais, há uma razão adicional para que as empresas não consigam simplesmente esperar a governança alcançar a tecnologia: os hackers também estão adotando IA. Além disso, na visão do executivo, isso cria uma espécie de corrida tecnológica na segurança.
Visto que ataques passam a ser automatizados e paralelizados por agentes, as próprias empresas precisarão utilizar IA para ampliar sua capacidade de defesa. Dessa forma, a defesa com base apenas em processos manuais tende a ficar para trás. A governança, nesse contexto, precisa acompanhar o ritmo da inovação. Ademais, a corrida, na visão do executivo, torna o tempo um recurso ainda mais crítico.
Resposta a incidentes em nova escala
Cristiano afirmou que os procedimentos tradicionais de resposta a incidentes foram construídos pensando em ações realizadas por humanos, em uma escala compatível com a velocidade humana. No entanto, segundo Cristiano, com agentes capazes de executar tarefas de maneira autônoma e simultânea, essa lógica começa a ficar defasada.
Automação exige defesa na mesma velocidade
A automatização dos ataques exige, portanto, uma defesa na mesma velocidade. Consequentemente, o que antes era uma sequência de passos executados por uma pessoa agora precisa ser coordenado por sistemas que atuam em paralelo. Além disso, isso demanda novas ferramentas e novos protocolos. Sobretudo, a diferença é que agora a resposta precisa ser dada em segundos, não em horas.
Novo paradigma de segurança
Em resumo, as observações dos especialistas apontam para um novo paradigma: em vez de buscar uma IA infalível, o caminho é construir sistemas que saibam lidar com a incerteza. Dessa forma, a governança, nesse cenário, torna-se parte da arquitetura. Assim sendo, a palavra de ordem é antecipação.
O post “A falha é uma feature da IA, não um bug”, dizem especialistas apareceu primeiro em Startups.
Fonte
- startups.com.br
- Política de Privacidade (policies.google.com)
- Termos de Serviço (policies.google.com)