Pocházel z německého šlechtického rodu usazeného v Bádensku, byl synem barona Friedricha von Ellrichshausen, po matce Julianě Magdaleně byl synovcem maršála Wilhelma Reinharda Neipperga. Studoval gymnázium ve Stuttgartu a v šestnácti letech vstoupil do císařské armády. Poprvé bojoval v rakousko-turecké válce, později se pod velením svého strýce Neipperga se zúčastnil války o rakouské dědictví. Jako pobočník generála Neipperga postupoval v armádní hierarchii, v hodnosti štábního kapitána byl vážně zraněn u Janova (1746) a dostal dlouhodobou dovolenou. Za sedmileté války dosáhl hodnosti generálního polního vachtmistra (1759), pod velením generála Laudona vynikl v bitvě u Landshutu (1760) a téhož roku byl povýšen na polního podmaršála. V roce 1773 dosáhl hodnosti polního zbrojmistra a v závěru své kariéry byl zemským velitelem v Českém království (1778–1779). Zemřel v Praze.