Als Verbündeter Österreichs musste er nach der Schlacht von Magenta im Mai 1859 erneut sein Land verlassen und zog sich mit seinen Truppen nach Mantua zurück. Obwohl im Vorfrieden von Villafranca und im Frieden von Zürich die Wiedereinsetzung des Herzogs festgesetzt war, wurde Modena auf den entschiedenen Wunsch der Bevölkerung und mit Genehmigung Napoleons III. dem Königreich Sardinien-Piemont einverleibt. Franz lebte seitdem abwechselnd in Wien und auf seinen Gütern in Böhmen. Er war seit 30. März 1842 mit der Prinzessin Adelgunde Auguste von Bayern verheiratet, der Tochter des Königs Ludwig I. von Bayern. Die einzige Tochter Anna Beatrice Theresia Maria, geboren 1848 in der Villa Aufschnaiter in Gries-Quirein (Bozen), verstarb 1849 schon im Kindesalter.