Ehrhardt kom fra en protestantisk prestefamilie, men gikk i 1899 inn i Den tyske keiserlige flåte. I 1904 deltok han som løytnant i å slå ned Herero-oppstanden i Tysk Sydvest-Afrika.