I 1796 ble Frans gift med erkehertuginne Maria Clementina av Østerrike, datter av keiser Leopold II av det tysk-romerske rike. Da hun døde, ble han gift på nytt med sin kusine Maria Isabella av Spania, datter av kong Karl IV av Spania.