Han var født i Sørumsand og vokste opp i Oslo. Faren, møbelsnekker Sigurd Rasmussen, døde før sønnen ble født. Mora, Selma Bye Rasmussen, døde i 1924.