Hilmar Reksten ble født i Bergen og vokste opp i bydelen Nordnes i enkle kår. Han var eldstemann i en søskenflokk som ellers bestod av Hjalmar (1900–1961) og Sofie (1899–1974). Moren, Helene Monsen Søndervåg (1869–1902), døde da Hilmar Reksten bare var fire år gammel. Faren, Erik Reksten (1873–1963), var fyrbøter og senere maskinist og tilbragte mesteparten av tiden til sjøs. Derfra sendte han penger hjem til barnas forsørgelse.