Han vokste opp i Tórshavn som sønn av Elin (født Larsen) fra Porkeri og byggmester Hans Andreas Djurhuus (kalt Dia í Ólastovu) fra Tórshavn. Han var tippoldebarn av dikteren Jens Christian Djurhuus. Han var tremenning av Hákun Djurhuus, som også var regjeringssjef på Færøyene, og i slekt med dikterne Hans A. Djurhuus og Janus Djurhuus.