Hij was de zoon van graaf Emmanuel von Mensdorff-Pouilly en prinses Sophie van Saksen-Coburg-Saalfeld, een zus van Leopold I van België. In 1829 trad hij in Oostenrijkse legerdienst en werd in 1836 tot kapitein bevorderd en in 1844 tot majoor. In 1848 en 1849 vocht hij tegen de Eerste Italiaanse Onafhankelijkheidsoorlog en de Hongaarse Revolutie. In 1849 werd hij vervolgens tot kolonel bevorderd en het jaar daarop tot generaal-majoor.