Han ble født på Húsagarður (Húsum) i Tórshavn som sønn av kongsbonde Johannes Olaus Djurhuus og hustru Malene Mikkelsdatter Danielsen. Farsslekten Djurhuus nedstammet fra hans oldefar, danske Christen Jensen Djurhuus, som var prost på Færøyene. Farfaren Andreas Christensen Djurhuus og broren Andreas Djurhuus var også proster. Moren var av en gammel kongsbondeslekt på Velbastaður. Hans Olaus hadde også broren Johan Christian Djurhuus, som ble kjøpmann og lagtingsmann. Lagtingsmann Jens Hendrik Djurhuus var deres tremenning. Deres søster Maren Vangine Djurhuus giftet seg med sorenskriver Emil Kock, hvis datter Anna Dorothea Maria Kock ble gift med amtmann og landstingsmann Christian Bærentsen.