1941-ben, röviddel a Szovjetunió elleni invázió után a Wehrmacht egységei szembetalálkoztak az új szovjet harckocsikkal, mint a közepes T–34 és a nehéz KV-1 tankok. Vastag döntött páncélzatukkal kitudták védeni a legtöbb német páncéltörő fegyverek tűzét. Ez a helyzet jobb és erősebb fegyverek igényét jelentette a harctérre, amelyek képesek kilőni ezeket a páncélosokat még nagy távolságokról is. A németeknek volt használható tervezete a szovjet tankok ellen, mint a 7,5 cm PaK 40, de időbe telt amíg elegendő mennyiséget gyártottak belőle, ezért addig ideiglenes megoldásként néhány francia Canon de 75 modèle 1897 ágyú átépítésével jutottak használható páncéltörő fegyverekhez. A 75 mm-es ágyú széles körben elérhető volt, de az eredeti konfigurációban ezek a fegyverek nem voltak alkalmasak tankok elleni harcra mivel viszonylag alacsony kezdősebesség, a 6°-ra korlátozott kilövési szög és a megfelelő felfüggesztések hiánya miatt, amelyek korlátozták a vontathatóságát (10-12 km/h). Ezért úgy döntöttek a mérnökök, hogy az PaK 38 ágyútalpára helyezik a fegyvert amely megoldja a korlátozott döntési szög és gyenge mobilitási problémákat. A visszalökés enyhítése érdekében az ágyúra csőszájféket szereltek fel és az alacsony kezdeti sebesség kompenzálása érdekében egy kumulatív lövedéket (HEAT) használnak, amelynek hatékonysága független volt a kezdeti sebességtől és a távolságtól. A 7,5 cm Panzerabwehrkanone 97/38 gyártása el is kezdődött és 1941 novemberében az első példányokat le is szállították csapatpróbákra. A harctéri tapasztalatok után további 2854 darabot gyártottak 1942-ben, majd 1943-ban újabb 858 darabot.