Osborne ble født inn i en velhavende og politisk liberal familie, hvor blant annet hans mormor og hennes søster hadde i 1848 arrangert Seneca Falls Convention, verdens første kvinnekonferanse. Familiehjemme hadde også vært en del av Den underjordiske jernbanen, hvor de skjulte rømte slaver.