有一子一女：郝德杰在任钖兰总督期间，奥丽芙患上焦虑和抑郁症，曾经在可伦坡一家疗养院休养数星期，但病情未有好转，而且还经常失眠。1943年12月，奥丽芙与家人前往位于钖兰中南部努沃勒埃利耶的总督渡假别墅女皇小屋（Queen's Cottage）渡过圣诞节，然而在12月31日凌晨时份，备受失眠困扰的奥丽芙怀疑在神智不清的情况下意外从二楼窗台失足跌落一楼地面平台身亡。奥丽芙堕楼身亡一事对郝德杰构成很大打击，为免以妻子的丧事迎接1944年新一年之始，有关当局随即在12月31日早上完成验尸，并在同一晚上于当地的