Han var den drivende kraften bak dannelsen av University of Birmingham og var dets første kansler. Hans arkiv forvares i universitetets bibliotek og universitetes klokketårn kalles "Old Joe" oppkalt etter ham. Chamberlain Square i det sentrale Birmingham er oppkalt etter ham.