Søren Espersen er giftet seg i 1981 med engelske Yvette Kim Fay, som har vært reklametegner for Dansk Folkeparti. Mellom 1988 og 1992 var de bosatt i London, der Espersen arbeidet som frilansjournalist. Han har barn.