Larsen ble gift i 1969 med Edle Tornes Larsen. Paret har tre barn. De ble skilt i 2019. Han giftet seg på nytt i 2022.