Depois de postar minhas opiniões sobre postura em entrevistas de system design no TechWriters, David Golden me inspirou a escrever sobre calibrações em entrevistas técnicas. O ângulo que estou abordando calibragens neste artigo é intencionalmente estreito, pois escolhi um caminho para falar mais sobre como as calibrações contribuem para um processo de contratação mais justo e equilibrado e, como consequência, mais eficiente. Por causa disso, estou abordando o assunto das calibrações para duas perspectivas:

  1. Como um grupo de entrevistadores pode avaliar e chegar a um entendimento comum de quem é a pessoa mais adequada para uma contratação;
  2. Como a gerente responsável pela contratação pode aumentar a certeza de que está tomando a melhor decisão para sua equipe e organização.

Mesmo que meu objetivo seja abordar o assunto com a maior transposição e objetividade possível, calibrar entrevistas não é de forma alguma um assunto imutável, transferível ou exato. Semelhante a qualquer sistema ou conceito complexo, esta é uma representação excessivamente simplificada do assunto como uma tentativa de torná-lo mais digerível. Calibragens são um assunto com muitas nuances, mesmo dentro do mesmo contexto de cultura organizacional e ainda mais para diferentes organizações. Diferentes organizações esperarão resultados diferentes de processos de contratação, e para cobrir calibragens no grau de profundidade para fazer justiça ao assunto, seria necessário entender especificações do processo de contratação projetado para sua organização, que está fora do escopo e alcance desse artigo.

Contexto e pré-requisitos

Para aqueles que não estão familiarizados com o termo: caligragens de entrevistas servem o propósito de encontrar um consenso entre entrevistadores sobre o desempenho geral de um(a) candidato(a) e, em seguida, comparar o desempenho dos candidatos(as) entre si, para que avançar com a pessoa mais adequado para a próxima etapa de entrevista ou a uma oferta de emprego.

Mesmo que as calibragens das entrevistas possam ser desestruturadas, como por exemplo falar de forma informal sobre impressões gerais sobre um aplicante, abordá-la dessa forma tem uma grande propensão a dar errado. Os gerentes de contratação e as pessoas mais seniores no ciclo de entrevistas geralmente estão bem posicionados - mesmo que não intencionalmente - para influenciar as opiniões dos outros, tornando o processo menos justo e mais tendencioso.

Dessa forma, acredito que os pré-requisitos para calibrar razoavelmente candidatos são:

  1. Uma estrutura que define o nivelamento em toda a organização, delineando funções, expectativas e impacto para cada nível - o que Junior, Pleno, Senior, Staff e outras funções significam na prática;
  2. Um processo de entrevista bem definido por nível ou plano de carreira que seja usado de forma equitativa para todos os aplicantes, independentemente das circunstâncias, como referências ou retorno de funcionários;
  3. Para etapas de entrevista mais estruturadas, como entrevistas técnicas, um banco de dados de perguntas com orientações claras à disposição da pessoa entrevistadora;
  4. Um programa de treinamento como pré-requisito para entrevistar candidatos, cobrindo o que é importante para a organização, abrangendo desde aspectos práticos até D&I e treinamento de preconceito e bias inconsciente.

Esses pré-requisitos ajudarão a estabelecer uma base para comparação objetiva entre o talentos existentes na organização, uma forma padronizada de avaliar os candidatos e que os entrevistadores entendam como avaliar os candidatos de forma justa.

A função da pessoa entrevistadora

Acredito que um bom ponto de partida da perspectiva dos entrevistadores, independentemente de sua função, é estudar a estrutura de nivelamento de pessoas. Entender o nivelamento é, inerentemente, entender as expectativas de uma função - e esse é um ponto de partida para garantir a justiça. Em outras palavras, além de definir que quem faz x, y e z é Engenheira Sênior, definir qual tipo de impacto e efeito você espera que essas pessoas tenham na função ajuda a esclarecer o que você está procurando para as necessidades da vaga aberta. Estudar esta estrutura ajuda a calibragem, pois se você entender as expectativas para uma função, poderá avaliar um candidato de forma mais objetiva.

Em seguida, ter dados e critérios comparativos entre candidatos sob diferentes óticas também pode ser útil. Em situações em que há restrições, como menos vagas abertas do que candidatos que passam da barra de entrevistas, pode ser difícil definir qual candidato é mais adequado para a vaga, especialmente se pessoas diferentes entrevistaram candidatos diferentes. Já vi isso ser resolvido de duas maneiras: ter mais de um entrevistador por entrevista (por exemplo, um entrevistador principal e um entrevistador sombra) ou tendo mais de uma entrevista do mesmo tipo por candidato (por exemplo, duas entrevistas de system design dentro do mesmo ciclo de entrevistas feitas por pessoas diferentes). Ambos podem ajudar a diminuir bias e dar aos entrevistadores mais ângulos para debater, comparar e calibrar os candidatos entre si por meio de mais perspectivas para os mesmos critérios.

Outra tarefa crítica é definir o que se espera como um bom resultado para uma fase de entrevista antecipadamente, para que você tenha o que calibrar após a entrevista, caso tenha várias pessoas passando no processo. O que “melhor” significa é, na maioria das vezes, relativo, portanto, discutir nos mesmos termos com outros entrevistadores no caso de vários resultados positivos nas entrevistas ajudará a condução de discussões específicas. Por exemplo, para uma entrevista de projeto de sistema, você provavelmente está procurando por critérios como “conclusão”, “priorização”, “profundidade de conhecimento”, “amplitude de conhecimento”, “comunicação”, “entendimento de trade-offs” e assim por diante. Observações adicionais fora do escopo podem ajudar na decisão geral, mas para garantir que o processo funcione conforme previsto quando projetado é essencial ater notas de performance aos critérios do estágio de entrevista em questão.

Em consonância com o ponto anterior, definir como o desempenho por etapa da entrevista é mapeado ao nivelamento de um candidato pode ajudar a informar o processo. Para fins de contexto, o nivelamento de um candidato geralmente leva em consideração o desempenho geral do candidato durante a entrevista, além de suas realizações e experiências anteriores. Ou seja, o desempenho geral deve ser apoiado pelo desempenho em cada etapa, que então é ser apoiado por critérios de avaliação da etapa. Um exemplo um pouco mais tangível é, por exemplo, em entrevistas de system design, pessoas engenheiras experientes são mais propensas a terem um nível mais profundo de consciência sobre trade-offs sendo feitos em comparação com pessoas menos experientes. Entender o que esperar em termos de desempenho para cada estágio de entrevista para cada nível pode ajudar a tornar a decisão mais justa. Porém, esteja ciente de que transformar a avaliação em um processo exclusivamente objetivo ou mecânico também não é desejável, o que nos leva aos próximos dois pontos.

Provavelmente, você não precisará tomar uma decisão exclusivamente com base nos sinais coletados na fase de entrevista que conduziu. Dito isso, dar aos candidatos o benefício da dúvida por padrão pode ser uma maneira generosa de falar sobre as habilidades de alguém que você mal conhece. Entrevistar é uma experiência estressante, principalmente quando o candidato realmente quer a vaga. Em vez de julgar pretensiosamente se alguém é adequado ou não para uma função, entender a entrevista como um snapshot dos comportamentos observados ajuda a se manter aberto(a) para ser convencido a opiniões contrárias - tanto para favorecer a contratação quanto para retirar sua recomendação de contratação.

Por fim, se você chegar a uma situação em que tenha mais de uma ótima candidata por função e a notas entre os entrevistadores para o mesmo tipo de entrevista revelar que provavelmente há um empate, delegue a decisão a outros estágios de entrevista. É difícil obter uma imagem precisa da capacidade de alguém em uma entrevista de 45 minutos. Em algum ponto, a precisão para ordenar candidatos fala mais sobre seu próprio viés do que sobre as qualidades do candidato, portanto, deixe outros critérios conduzirem a decisão.

A função da gerente de engenharia contratante

Um dos principais aprendizados que tive como gerente foi contratar primeiro para a organização e depois para a equipe. Independentemente da maturidade da organização que você faz parte, as coisas darão errado com frequência. Ter uma estratégia de contratação estreita demais pode trazer consequencias dramáticas. Bons exemplos disso são um projeto em que uma pessoa foi contratada para tocar ser desincentivado, ou decidir comprar software de um fornecedor em vez de construí-lo internamente. Essas são circunstâncias em que as calibragem é útil - se o nivelamento for padronizado em toda a organização, mover as pessoas para o próximo papel lateralmente é menos prejudicial para todos os envolvidos.

Dito isso, resista ao impulso de pensar exclusivamente nas lacunas que suas equipes tem e em suas necessidades específicas. Como gerente, você obviamente deve estar focada nos problemas que estão no seu escopo de trabalho, porém, as pessoas podem acabar precisando de mais do que isso para permanecer ou crescer na organização. Investigar se existem necessidades semelhantes em algum outro lugar da organização pode ajudar a tomar uma decisão mais assertiva. Validar suas suposições com outros gerentes e alinhar uma potencial responsabilidade adicional para uma vaga antes mesmo de contratar uma pessoa pode forçá-lo a pensar em qual é o caminho de progressão desse candidato dentro da empresa e garantir que você possa trazer alguém com um espaço de problema claro para assumir. No lado positivo do exemplo anterior, se as coisas correrem incrivelmente bem, essa pessoa terá opções para escolher seu caminho dentro da empresa, o que é extremamente positivo.

Antes de decidir por um candidato específico, calibre-o em relação à estrutura de nivelamento para garantir que você está nivelando as pessoas recém-chegadas de forma justa. A maioria das empresas tem situações em que níveis têm responsabilidades e faixas de remuneração sobrepostas. Para alcançar a promoção para o próximo nível, é preciso ter um desempenho consistente no próximo nível, então, ao trazer novas pessoas, é importante nivelá-las corretamente, mas ainda mais, você quer ter certeza de fazer as coisas certas para o time dessa pessoa também. Nos casos em que você não tem certeza sobre o nível de uma pessoa, fazer uma oferta do nível abaixo é geralmente a coisa certa a fazer, pois promover alguém dentro de 6 a 12 meses é mais simples do que ajustar o nível para baixo depois que a pessoa já estiver na empresa.

Um cenário típico como gerente é direcionar a contratação para seus projetos, equipes e necessidades. Este artigo do Google descreve como a contratação por projeto/equipe afeta a qualidade geral de talento na empresa. Como gerente de contratação, o que você pode fazer a esse respeito é calibrar os candidatos em relação aos seus pares em potencial. Isso pode ajudar a alcançar resultados semelhantes em termos de qualidade de talento à estratégia usada pelo Google. Pense em equipes ou organizações adjacentes que têm pessoas no mesmo nível para o qual você está contratando, dentro da mesma disciplina, e entenda os deveres, impacto e responsabilidades dessas pessoas. Isso provavelmente revelará como essa candidata se encaixaria no quadro geral, garantindo assim a qualidade de talento em toda a organização.

Além disso, calibre os entrevistadores uns contra os outros, para que você tenha uma média ponderada como medida. Entrevistadores diferentes têm critérios diferentes para avaliar as pessoas, mesmo com uma estrutura de nivelamento bem definida. Tenho a impressão de que muitas vezes tenho tendência a focar no lado positivo de entrevistas. Outros podem ser muito mais conservadores em relação aos riscos e tendem a recomendar “não contratar” quando faço recomendações de “contratar”. A grande maioria dos sistemas de gestão de aplicantes tem relatórios de calibração que podem ajudar a entender como os entrevistadores tendem a classificar os entrevistados que receberam ofertas, e isso pode servir como um sinal para avaliar o desempenho geral quantitativamente, sem aprofundar muito em análise.

Então, para decisões divididas, onde entrevistadores têm opiniões diametralmente diferentes ou o nível de incerteza é alto em vários estágios, aumente o alinhamento e a consistência através de uma reunião de revisão do pacote de entrevistas. Esse tipo de reunião geralmente consiste em reunir todos os entrevistadores que participaram de cada etapa do processo de entrevista do candidato, chegar em um consenso e, em seguida, tomar uma decisão final. Normalmente, é uma excelente oportunidade para entender onde pode haver ambiguidade para um critério dentro de uma etapa de entrevista, para dar feedback aos entrevistadores e receber feedback sobre o candidato e o processo, e como consequência disso, melhorar o processo e torná-lo mais justo e decisões mais precisas.


Como dito anteriormente, esta é apenas a ponta do iceberg - calibrações de entrevistas de pessoas engenheiras de software são um assunto fascinante que provavelmente exigirá esforços interdisciplinares de equipes de pessoas, como aquisição de talentos e recursos humanos, bem como perspectivas técnicas. Para garantir calibrações e contratações mais justas, é fundamental continuamente avaliar, medir e, por meio de sinais quantitativos e qualitativos, evoluir o processo.