Weszła do służby w wojskach niemieckich pod koniec 1940 roku. Po rozpoczęciu inwazji na ZSRR rozpoczęto produkcję amunicji Panzergranate 40 z rdzeniem z wolframu, ponieważ tylko takie pociski mogły przebijać pancerze radzieckich czołgów T-34 i KW. Po wyczerpaniu zapasów wolframu skuteczność armaty 5 cm Pak 38 jako broni przeciwpancernej dramatycznie spadła. Pomimo że później była sukcesywnie zastępowana nowszymi typami armat, to na wyposażeniu armii niemieckiej pozostała do końca wojny.