Under første verdenskrig tjenestegjorde han på torpedobåt og deltok blant annet i Jyllandsslaget og fra oktober 1916 var han stasjonert i Flandern hvor han tjenestegjorde i ubåtstøtte i Den engelske kanal. I 1917 ble han forfremmet til Korvettenkapitän og fra september samme år og resten av krigen var han sjef for en torpedobåtflotilje. Da krigen sluttet, førte han fartøyene til Scapa Flow hvor de året etter senket dem selv. Da det brøt ut uro blant mannskapet på fartøyet som fraktet de tyske marinemannskapene tilbake til Tyskland, tok Ehrhardt kommandoen over skipet.