Familien flyttet til Tromsø da Rasmussen var 3 år gammel, og han vokste opp der. Like etter ankomsten til Tromsø ble han invalid etter et stygt fall, og pådro seg senere tuberkulose. Selv om han senere flyttet sørover for å studere og arbeide, forble han særlig knyttet til Tromsø. I i 1961 beskrev han byen på denne måten: «Tromsø – byen jeg frykter og elsker, der jeg har hatt mine største gleder og knusende nederlag».