Sønn av disponent Birger Rasmussen og Lilly Bruusgaard. Rasmussen vokste opp på Modum, tok artium i 1939 og nærmet seg eksamen i ettårig handelsgymnasium i april 1940.