I 1978 giftet han seg med Anne-Mette Jacobsen. Paret ble introdusert for hverandre av Rasmussens venn Flemming Damgaard Larsen, som satt i kommunestyret i Bramsnæs sammen med hennes far. De bodde i Skals i Viborg kommune frem til 1999, da de flyttet til Nærum ved København. Paret har tre barn.