Knispel werd als boerenzoon geboren in Sudetenland (Tsjecho-Slowakije). Zijn ouders behoorden tot de Sudeten-Duitsers. Na de annexatie van Sudetenland door Duitsland in 1938 verliet Knispel de boerderij van zijn ouders en ging hij werken in een autofabriek. Het saaie werk in de fabriek beviel hem niet en om zijn hang naar avontuur te bevredigen meldde hij zich in april 1940 als vrijwilliger bij de Wehrmacht. Van mei 1940 tot januari 1941 was hij actief als soldaat bij de infanterie, maar hij werd nauwelijks aan het front ingezet. Knispel vroeg overplaatsing aan en werd opgeleid tot lader van een tank. Vanaf augustus 1941, met het beginnen van Operatie Barbarossa, kwam Knispel voor het eerst echt in actie. Als lader van een Panzer IV-tank vocht hij op de Balkan en bij Stalingrad. Knispel bleek zeer bekwaam te zijn als lader en hij werd bevorderd tot schutter. Hierna werd hij overgeplaatst naar de Kaukasus waar hij deelnam aan diverse vuurgevechten. Van februari 1942 tot mei 1942 volgde hij een onderofficiersopleiding waarna hij benoemd werd tot "Unteroffizier" (sergeant) en kreeg hij het commando over een eigen tank. Met deze tank werd hij weer teruggestuurd naar het front van het Beleg van Leningrad. Tijdens de vuurgevechten daar behaalde Knispel de ene overwinning na de andere.