Stuart O’Grady vokste opp i en sykkelfamilie i Adelaide, Sør-Australia. Hans far representerte Sør-Australia ved flere anledninger i landevei- og banesykling, og hans onkel deltok i OL i Tokyo i 1964. O’Grady startet karrieren som banesyklist, og bemerket seg med å ta sølvmedalje på 4000m forfølgelsesritt for lag i OL i Barcelona i 1992. Fire år senere i OL i Atlanta tok han bronse i både poengrittet og i 4000m forfølgelsesritt for lag.