Han er gift, har tre barn og er onkel til fotballspilleren Birger Madsen som spilte midtstopper for Sandefjord.