Clerfayt werd geboren op het Kasteel van Bruille in Waudrez nabij de stad Binche in de Oostenrijkse Nederlanden. Al van in zijn jeugd ambieerde hij een militaire loopbaan. In 1753 werd hij bij het Oostenrijkse keizerlijke leger ingelijfd als cadet. Tijdens de daaropvolgende Zevenjarige Oorlog die in 1756 begon, onderscheidde Clerfayt zich in de Slag bij Praag, de Slag bij Leuthen, de Slag bij Hochkirch en de Slag bij Liegnitz en hij klom intussen op tot de graad van kolonel. Wegens zijn verdiensten ontving hij het ridderkruis in de Orde van Maria Theresia.