Hughes ble født i Sydney i 1938. Faren og bestefaren hans var advokater. Hughes' far, Geoffrey Forrest Hughes var pilot under andre verdenskrig og gjorde senere karriere som jurist og næringslivsleder. Hughes' mor var Margaret Eyre Sealy (Vidal). Hans eldre bror, Tom Hughes, er en australsk advokat og tidligere australske justisminister. Geoffrey Hughes døde av lungekreft da Robert var 12 år gammel. Han studerte ved St. Ignatius' College, Riverview før han begynte å studere kunst og arkitektur ved University of Sydney. Rundt denne tiden skrev han boken med tittelen , som fortsatt blir sett på som et viktig arbeid. Boken ble utgitt i 1966. Hughes skrev også kunstkritikk for og . Hughes bosatte seg i Europa i 1964, til å begynne med, bodde han i Italia før han bosatte seg i London i 1965, hvor han skrev for , , og og bidratt til London utgaven av . I 1970 ble han kunstkritiker for tidsskriftet og flyttet til New York.