Como validar um sistema de visão computacional

Validar um sistema de visão computacional é medir, em peças reais da sua linha, quantas vezes ele erra e de que forma. São duas taxas: o falso positivo, que é a peça boa rejeitada, e o falso negativo, que é a peça defeituosa aprovada. Um sistema só deve ser comprado depois de a prova de conceito mostrar essas duas taxas em uma amostra representativa, com o critério de aceite acordado antes.

Como as quatro respostas se organizam?

Cada peça cai em uma de quatro células, e as duas taxas saem delas:

O falso positivo é a fração das peças boas que foram rejeitadas, e o falso negativo é a fração das defeituosas que foram aprovadas. Uma taxa de acerto total esconde as duas. Se 1% das peças é defeituosa, um sistema que aprova tudo acerta 99% das vezes e não pega defeito nenhum. Por isso a validação reporta cada taxa separada, e o falso negativo por tipo de defeito.

O que é falso positivo?

É a peça boa que o sistema rejeita. Custa refugo e retrabalho desnecessários e, se for frequente, faz a operação desconfiar do sistema e passar a ignorá-lo. A taxa de falso positivo mostra o custo de um sistema rigoroso demais.

O que é falso negativo?

É a peça defeituosa que o sistema aprova. É o erro que chega ao cliente. Em geral, é o mais caro, e a validação trata de saber quão raro ele é para cada tipo de defeito, e não apenas na média.

Como montar a amostra de validação?

Com peças reais da linha, incluindo os defeitos reais, e em quantidade suficiente para cada tipo de defeito aparecer várias vezes. Defeito raro é o difícil: se ele quase não ocorre, é preciso reunir exemplos ao longo do tempo, ou produzi-los de propósito com cuidado para que representem o real. A amostra também deve cobrir a variação normal de peças boas, de lote, de turno e de luz.

Quantas peças defeituosas bastam?

Quando poucas peças defeituosas entram no teste, a taxa medida tem margem de incerteza grande. Se nenhuma das 100 peças defeituosas foi aprovada por engano, isso não prova um falso negativo zero: com 95% de confiança, a taxa real pode chegar a cerca de 3%. A regra dos três resume a conta, em que o limite superior é aproximadamente 3 dividido pelo número de peças testadas sem erro. Para sustentar um falso negativo abaixo de 1%, seriam necessárias cerca de 300 peças defeituosas sem nenhum escape. Esse é o motivo de o defeito raro ser o difícil, e de o critério de aceite ter de dizer qual risco é tolerável antes de o teste começar.

As peças do treinamento podem ser as do teste?

Não. As peças usadas para ensinar o sistema não servem para avaliá-lo, porque ele já as conhece, e a taxa medida sai otimista. A amostra de validação vem de lotes, turnos e dias diferentes dos do treinamento, e é guardada separada. É a mesma disciplina de qualquer medição honesta: o critério e a amostra de prova são fixados antes de o resultado aparecer.

Como definir o critério de aceite?

Antes do teste, com a qualidade, a produção e a engenharia. O critério diz quais taxas são aceitáveis e para qual defeito, e depende do custo de cada erro no processo. Definir depois do teste leva a ajustar o critério ao resultado, em vez de julgar o resultado.

Como o limiar de decisão muda as duas taxas?

O sistema não responde apenas "boa" ou "defeituosa": por trás da decisão há uma pontuação de confiança, e o limiar escolhido para rejeitar define o equilíbrio entre os dois erros. Um limiar mais rigoroso rejeita mais peças duvidosas, reduz o falso negativo e aumenta o falso positivo. Um limiar mais frouxo faz o inverso. Não existe ajuste que zere os dois ao mesmo tempo; existe o ponto que o custo de cada erro no seu processo justifica. Por isso a validação deve registrar as taxas no limiar escolhido e mostrar o que acontece quando ele muda, e o ajuste é feito com a amostra de validação já guardada, nunca com as peças do dia a dia sem registro.

Que peças o sistema deve mandar para uma terceira via?

Quando a pontuação fica perto do limiar, a decisão é incerta. Uma opção prática é criar uma faixa de dúvida em que a peça não é nem aprovada nem rejeitada automaticamente, e segue para conferência humana. Isso concentra a atenção do inspetor no que realmente é ambíguo, em vez de espalhá-la por todas as peças. O tamanho da faixa é parte do critério de aceite: faixa larga demais devolve o trabalho à pessoa, estreita demais devolve o risco ao processo. As peças dessa faixa também são um insumo de melhoria, porque, depois de classificadas pela qualidade, servem para refinar o critério do sistema.

O que a validação precisa registrar?

E depois da instalação?

O sistema deve ser acompanhado, porque a linha muda: lote novo, luz diferente, ferramenta desgastada. A taxa medida na prova de conceito é o ponto de partida; o acompanhamento mostra se ela se mantém. A inspeção visual automática e o retorno do investimento, em visão computacional na indústria: em quanto tempo se paga, completam a decisão. O que o sistema decide em cada peça, e por que a inspeção humana degrada ao longo do turno, está em inspeção por visão computacional: o mesmo critério em toda peça.

Isso vale para outras aplicações?

Vale, com a métrica adequada a cada uma. Na contagem, mede-se o erro sobre lotes de quantidade conhecida, como mostra contagem automática de peças. Na leitura de códigos e texto, mede-se a taxa de leitura com o produto real, na velocidade da linha, tema de OCR, código de barras, DataMatrix e QR Code. Na medição de tempo de ciclo, compara-se com a cronometragem manual do mesmo posto, em como medir o tempo de ciclo de um posto com câmera. Na detecção de EPI, as taxas de acerto convivem com as decisões de privacidade de EPI por câmera e LGPD. E, fora da visão, o mesmo método de critério escrito antes e medição por item aparece em como testar monitoramento antes de comprar e na régua de compra de monitoramento.

Antes de validar, é preciso especificar: as peças de um sistema de visão e as perguntas do levantamento estão em Inspeção por visão computacional: o mesmo critério em toda peça.

Perguntas frequentes

Como validar um sistema de visão computacional antes de comprar?

Com uma prova de conceito em amostra real da linha, que mede a taxa de falso positivo e a de falso negativo por tipo de defeito, nas condições reais de luz e de velocidade. O critério de aceite é combinado antes do teste. O sistema só deve ser comprado se as taxas medidas atenderem ao critério.

Qual taxa de acerto é boa?

Não existe um número único. Depende do custo de cada tipo de erro no seu processo: onde o defeito chega ao cliente e custa caro, o falso negativo precisa ser muito baixo, ainda que isso aumente o falso positivo. Desconfie de promessa de acerto sem a descrição da amostra e das condições do teste.

Quantas peças a amostra precisa ter?

O suficiente para que cada tipo de defeito apareça várias vezes e para cobrir a variação normal de peças boas. O número exato depende do defeito mais raro que importa. Por isso a prova de conceito começa pelo levantamento dos defeitos e pela reunião de exemplos, e não por um tamanho fixo de amostra.

O sistema precisa ser revalidado depois de instalado?

Sim, de forma periódica e quando algo muda na linha, como novo lote de matéria-prima, troca de iluminação ou ajuste de câmera. O acompanhamento compara as taxas atuais com as da prova de conceito. Se elas se afastarem, o sistema é recalibrado ou treinado com novos exemplos.