Hijo del escritor y periodista liberal Harold Spender, Stephen tuvo tres hermanos: el científico y explorador Michael, el fotógrafo Humphrey y Christine.