Pocházel ze šlechtického rodu z Piemontu, byl synem hraběte Luigiho Ferrarise (1685–1733), po matce Anne Therese de Fontette (1692–1754) měl původ v nelegitimním potomstvu francouzského královského rodu Valoisů. Vzhledem k otcově službě u lotrinských vévodů přešel po sňatku Františka Štěpána Lotrinského s Marií Terezií do služeb Habsburků a od devíti let byl vychováván ve Vídni. Původně byl pážetem císařovny-vdovy Amálie Vilemíny (1736), poté byl připravován pro vojenskou dráhu. Do císařské armády vstoupil již na počátku války o rakouské dědictví a v roce 1742 byl zraněn v bitvě u Chotusic. Díky tomu téhož roku dosáhl hodnosti kapitána a v roce 1750 byl povýšen na majora. Na začátku sedmileté války byl již podplukovníkem (1757), vyznamenal se v bitvě u Hochkirchu (1758) a obdržel rytířský kříž Řádu Marie Terezie. V roce 1760 vynikl v bitvě u Torgavy a v roce 1761 byl povýšen na generálmajora.