Devido ao fato de ser pequeno, era fácil de camuflar e transportar, dois importantes atributos para um canhão antitanque. Logo no inicio de 1940, na Frente Ocidental, as tropas apelidaram-no de "Heeres Anklopf-Gerät", literalmente "coisa do exército para ser morto rapidamente", desde que deixou de ser efetivo contra os blindados médios e pesados do exército britânico e francês, como o Char B1 (francês) e o Matilda Mk.II (britânico). Logo, o famoso canhão Flak de 88 mm tinha que frequentemente substituí-lo em seu papel de canhão antitanque. Apesar de ser claramente obsoleto após a conquista da França, uma grande quantidade do Pak 36 foi utilizado na Operação Barbarrossa, a massiva invasão da União Soviética. Apesar do Pak 36 surtir efeito sobre blindados como o T-26 ou o BT-7, era totalmente inútil contra o blindado médio T-34 e os pesados KV-1 e KV-2 soviéticos.