Zeppelin var elev på militærskolen i Ludwigsburg og ble i 1858 utnevnt til løytnant. I 1859 ble han kalt til ingeniørkorpset og han deltok fra 1863 som observatør i den amerikanske borgerkrigen og senere – i 1866 – som generalstabsoffiser i den østerriksk-prøyssiske krig og i den fransk-tyske krig 1870 – 1871. Fra 1882 til 1885 var Zeppelin kommandør for ułanregimentet Ulmanschliessend og Württembergs gesandt i Berlin. I 1891 tok han som generalløytnant sin avskjed, men ble i 1906 utnevnt til general av kavaleriet.