Han er yngre bror av statsviteren Hermann Smith-Sivertsen. Han giftet seg i 2018 med museumsdirektør Karin Hindsbo.