Rådhusparken som er knyttet til selve rådhuset er beliggende på det tidligere Aarhus Søndre Kirkegårds område, som fungerte i årene 1818 – 1926. En del av gravsteinene derfra er samlet i et lapidariumlignende område på den sørlige siden av Rådhusparken og en annen del av Aarhus Søndre Kirkegård er bevart som den jødiske kirkegården mellom rådhuset og Musikkhuset.