De familie Terboven (oorspronkelijk "ter Boven") was van Nederlandse afkomst. Terboven nam deel aan de Eerste Wereldoorlog en zwaaide af als luitenant. Hierna studeerde hij rechten en staatswetenschap in München en Freiburg, maar werd tevens politiek actief in extreemrechtse kring. Hij nam deel aan de putsch van 1923. Dit leverde hem een veroordeling op, maar opende vooral de deur naar een carrière in de NSDAP. Vanaf 1928 was hij "Gauleiter" in Essen. In juni 1934 trouwde hij met Ilse Stahl, de secretaresse van Joseph Goebbels. Als "Oberpräsident" van de Rijnprovincie verwierf hij een reputatie van wreedheid.