Peiper was een ervaren leider en nam deel aan veel grote veldslagen. Aan het oostfront vocht hij in de Derde Slag om Charkov en de Slag om Koersk. In 1944 kreeg hij het bevel over zijn eigen Kampfgruppe, die deel uitmaakte van de zesde pantsereenheid onder bevel van Sepp Dietrich. Met deze kampfgruppe nam hij deel aan de Slag om de Ardennen. Hij en zijn Kampfgruppe waren hier grotendeels verantwoordelijk voor het Bloedbad van Malmedy. Uiteindelijk raakte de Kampfgruppe door zijn brandstof heen en werd ingesloten door Amerikaanse troepen in La Gleize. Peiper was gedwongen met zijn soldaten te vluchten en honderden voertuigen achter te laten. Met 800 man bereikte hij te voet Duitsland.