Em qualquer sistema estável, o número médio de itens dentro dele é a taxa de chegada multiplicada pelo tempo que cada item fica lá:
L = λ × W
- L: itens em andamento ao mesmo tempo (requisições, pedidos, pessoas na fila).
- λ (lambda): taxa de chegada (requisições por segundo).
- W: tempo médio que cada item passa no sistema.
Exemplo: uma padaria atende 2 clientes por minuto e cada um fica 5 minutos lá dentro. Em média, há 10 clientes na padaria.
Em servidores: se chegam 1.000 requisições por segundo e cada uma leva 200 ms, há 200 requisições em andamento. Se cada requisição ocupa uma thread, você precisa de 200 threads. Para aguentar o dobro de tráfego com o mesmo tempo de resposta, precisa do dobro de threads.
Por isso, quando o tempo de resposta é dominado por espera (banco, rede), o limite de vazão costuma ser quantas tarefas simultâneas o sistema aguenta, e não a CPU. É o argumento central das virtual threads do Java.
A lei vale em média e para sistemas estáveis (a fila não cresce para sempre), e não depende da distribuição das chegadas.
- Para se aprofundar: Little’s law (Wikipédia, em inglês)