ヴィクトル＝フランソワは青年期から軍人としての道を歩んだ。父の初代ブロイ公爵フランソワ＝マリーとともにポーランド継承戦争で従軍、1734年のサン・ピエトロの戦いとグアスタッラの戦いに参戦した。同年、大佐に昇進した。