Han var sønn av Knut Olai Bjørlykke (1860–1946), som var professor i geologi på Ås, der Harald ble født i 1901. Harald ble far til geologen Knut Olav Bjørlykke (født 1938) og geologen Arne Bjørlykke (født 1943).