Rasmussen vokste opp i Lillestrøm som den eldste av fire søsken. Foreldrene var Gunnar Wilhelm Rasmussen (1904–1973) og Lena Magda Rasmussen, født Thyvold (1904–1999). Faren var eier av og leder for Nordmann Trikotasjefabrikk A/S og Rawi Konfeksjonsfabrikk.