Josef Terboven est né à Essen dans un milieu modeste. Durant la Première Guerre mondiale, il est affecté dans l'artillerie puis l'aviation (naissante). Il est récompensé de la croix de fer et parvient à accéder au grade de "Leutnant". Il fait ensuite des études de droit et de sciences politiques à l'université de Munich et à l'université de Fribourg, où il s'engage en politique. Peu après, il rejoint le parti nazi et participe au putsch avorté de la brasserie de Munich en 1923.