Hermann Ehrhardt, zoon van een pastoor, werd in het dorpje Diersburg in Baden geboren. In 1899 trad hij in dienst van de Duitse Marine (Kaiserliche Marine) als cadet en in 1902 werd hij luitenant. In 1905/1906 nam hij deel aan de oorlog tegen de Herero en de Hottentotten in de kolonie Duits-Zuidwest-Afrika. Tijdens de Eerste Wereldoorlog werd hij gezagvoerder over een marineschip en nam hij deel aan diverse militaire operaties in de Noord- en Oostzee. In 1917 werd hij tot "Korvettenkapitän" benoemd.