Er wurde als Sohn des Freiherrn Friedrich von Ellrichshausen und der Freiin Juliane Magdalene von Neipperg geboren. Nach einer Gymnasialzeit in Stuttgart trat er schon mit 16 Jahren in das herzoglich württembergische Regiment ein. 1737 kämpfte er unter seinem Onkel Wilhelm Reinhard von Neipperg in Ungarn gegen die Türken. 1740 zog sein Regiment in den ersten Schlesischen Krieg. Dort war er erst Adjutant seines Onkels, dann Leutnant, nach seiner ersten Verwundung Stabscapitän. 1746 kämpfte er in Italien als Grenadier und wurde in Genua lebensgefährlich verwundet und bekam Heimaturlaub. Im Juni 1760 führte er unter General Laudon in der Schlacht bei Landeshut eine der Angriffskolonnen, welche die Preußen vom Buchberge herunter drängte. 1763 wurde er zum Feldzeugmeister erhoben.