Graz was oorspronklik die terrein van 'n Romeinse fort. Die Slowene het later 'n klein kasteel gebou wat later 'n swaar verdedigde vestiging geword het. Die woord 'Gradec', waaraan Graz sy naam te danke het, het letterlik "klein kasteel" in Sloweens beteken. Die Duitse naam, Graz, is eers in 1128 gebruik. Onder Babenbergse heerskappy het die hertogte die dorp in 'n belangrike handelsentrum omskep. Later het Graz deur Habsburgers besit. In 1281 het Koning Rudolf I besonder voorregte aan Graz toegeken.
In 1797 het die Franse weermag onder Napoléon Bonaparte Graz beset. In 1809 is 'n hernude aanval deur die Franse suksesvol afgeweer, maar met die verdrag van Schönbrunn is Oostenryk gedwing om die vestigings op Graz se Schlossberg, wat die Franse ook nie kon oorneem nie, heeltemal op te skerp. Die Schlossberg is in die 19de eeu soos die gebied om die vroëere stadsmuur (Glacis) in 'n park omskep.
Graz is 'n tuinstad en meer as 70 persent van die stad se oppervlakte bestaan uit groen ruimtes. Die Stadtpark (Stadspark) strek regom die versterkte Ou Dorp. In die sestiger- en sewentigerjare het toegewyde jong kunstenaars en skrywers die Stadtpark regoor Europa bekend gemaak en later die avantgarde Forum Stadtpark gestig. Graz het ook sy eie botaniese tuine, 'n kunstuin, 'n beeldhouwerktuin en Giovanni se tuine.