Han bodde i Palazzo Sacchetti i 66 Via Giulia 66 i Roma. Osborne arvet tittelen hertug av Leeds i 1963. Etter hans død bortfalt tittelen, ettersom Osborne var ugift og uten barn og ikke hadde andre mannlige slektninger i live.