Amostra pequena: por que poucos resultados enganam

Uma observação pode mudar muito o percentual

Em um conjunto fictício de cinco tentativas, quatro acertos representam 80%. Se houvesse três, seriam 60%. Uma única observação desloca a proporção em 20 pontos percentuais. Em 500 tentativas, uma observação altera a proporção em apenas 0,2 ponto percentual.

Isso explica a sensibilidade de uma amostra pequena, sem dizer que toda amostra grande é confiável. O conjunto de cinco e o de 500 podem ter sido selecionados de maneira inadequada. Tamanho trata de uma parte da incerteza; origem, definição e integridade dos dados tratam de outras.

Mil registros escolhidos ainda podem ser ruins

Suponha que alguém procure somente vídeos que terminam com prêmio e reúna mil deles. A coleção é grande, mas sua regra de inclusão favorece justamente o evento que pretende medir. Ela não permite estimar a proporção de sessões lucrativas de todos os participantes.

Também há diferença entre mil observações independentes e mil cópias do mesmo vídeo. Contagem de linhas não é sinônimo de informação nova. Antes de usar o tamanho para defender uma conclusão, pergunte se os eventos são distintos e se as perdas poderiam ter sido incluídas pelo mesmo processo.

Que conclusão um conjunto pequeno sustenta

Um registro pequeno pode documentar uma ocorrência: uma tela mostrou certo valor em determinada sequência. Ele pode ajudar a encontrar um erro de interface ou formular uma pergunta para investigação. Não transforma a proporção observada em probabilidade exata do sistema.

A expressão “não observei” também precisa de cuidado. Não ver um evento raro em dez tentativas não demonstra que ele seja impossível. Do mesmo modo, observar uma sequência incomum não demonstra manipulação sem avaliar como ela foi definida e quantas oportunidades existiram para encontrá-la.

O que acompanhar em um relato estatístico

• Total de observações e definição do evento.
• Critério de coleta e dados excluídos.
• Versão ou condições relevantes do mecanismo.
• Indicação da incerteza e dos limites da análise.

Os números deste artigo são exemplos didáticos, sem representar probabilidades do Fortune Tiger. Leia estimativas e margem de erro para entender uma quantificação sob hipóteses. Não é necessário gerar mais apostas para reconhecer que um anúncio fez uma afirmação maior que sua evidência.