Han vokste opp i Sørvágur som sønn av kjøpmann Ole (Ólavur) Rasmussen og hustru Cathrine Malene Niclasen. Moren var halvsøster av Daniel Niclasen, «rike Dánjal». Selv giftet han seg med rike Dánjals datter, Eva Niclasen. Faren drev fra 1882 en kjøpmannsforretning, som Joen Rasmussen overtok i sitt eget navn i 1908. Forretningen solgte kolonialvarer, melvarer, jernvarer og manufaktur, og eksporterte fiskeprodukter, ullvarer, fjær med videre. Han drev også fiskebåtrederi og dampskipsekspedisjon for DFDS.