Bygningene i sentrum er for det meste fra viktoriansk tid og 1900-tallet, men noen få eldre bygninger er også bevart. St. Andrews kirke (slik som den fremstår i dag) og Rugby School var tegnet av arkitekten William Butterfield. Flere bevaringsverdige gamle bygninger ble dessverre revet på 1960-tallet og Treenighetskirken ble revet på 1980-tallet, mens det ironisk nok ble gjort lite skade på byen under den andre verdenskrigen, til tross for storindustrien og nærheten til Coventry. Foruten de ærverdige bygningene til Rugby School er byens mest kjente minnesmerke et klokketårn, som ble oppført i byens sentrum på slutten av 1800-tallet.