I 1803 giftet Lucien med sin smukke men beryktede elskerinne Alexandrine de Bleschamp. Napoleon kunne ikke akseptere dette ekteskap. Som straff ble Lucien utvist til Roma, der han knyttet nære forbindelser til paven.