Taylor ble født 11. januar 1930 i Sydney, der han også vokste opp. Han var eneste barn av William Sturt Taylor, en entreprenør innen stålkonstruksjon, og hans kone, forfatteren Mona Thompson. En av hans forfedre var kaptein Charles Sturt, en berømt britisk oppdagelsesreisende som hadde utforsket den australske villmarken i det 19. århundre.