V době vpádu do Polska sloužil v Hitlerově štábu. Bojový křest si prodělal v roce 1940, kdy spolu s Leibstandarte bojoval ve Francii. Zde vedl útok na výšiny u města Wattenberg a byl vyznamenán Železným křížem I. a II. třídy. Dlouhou dobu velel 3. praporu 2. pluku pancéřových granátníků SS a vysloužil si pověst vynikajícího velitele. V roce 1944 se během ofenzívy v Ardenách proslavil jako velitel SS-Kampfgruppe Peiper, která postupovala v čele německých sil. Následně byl povýšen na SS-Standartenführera a ujal se velení 1. tankového pluku SS. Tím se stal nejmladším plukovníkem v rámci celých Waffen SS. Po nezdaru ardenské ofenzívy Joachim Peiper a jeho muži opustili tanky v belgickém městě La Gleize a následoval pěší pochod zpátky k německé linii.