Robert Hassel var sønn av apoteker Einar Hassel fra Drøbak og Olga Schwencke fra Hamar. Hassel-slekten kommer opprinnelig fra Kragerø og Kongsberg og Schwencke fra Drammen. Ved årsskiftet til 1921 flyttet familien Hassel til Oslo blant annet for at faren, Einar, skulle drive apotek Nordstjernen sammen med sin fetter, Peter Hassel Gierløff. Helsen til unge Robert Hassel ble under perioden i Oslo truet av en kraftig astma, og faren søkte derfor etter bevilling til å drive Kabelvågs apotek i Lofoten. Bevillingen ble innvilget og familien flyttet til Kabelvåg i 1930. Klimaet i Lofoten hadde som forventet en gunstig effekt på Hassels astma. Onkelen Peter Albert Alfsen hadde allerede flyttet fra Hamar til Svolvær noen år tidligere og var innehaver av apoteket i Svolvær. Før krigen var Hassel reklametegner.