Jens Hendrik Oliver var født i Tórshavn som sønn av Óla Jákup Djurhuus og Else Marie (født Poulsen fra Hósvík). Familien omtales av Isaksen som «en fattig fiskerfamilie». Han var gift med Anna Kathrine Sofie Christiansen, men ekteskapet ble oppløst.