અગાઉ એલ્ફિન્સ્ટન કૉલેજની શરૂઆત પણ ટાઉન હોલમાં જ થઈ હતી, પણ ભાયખળામાં તેને માટેનું નવું મકાન બંધાઈ રહેતાં ૧૮૫૬માં તે એ મકાનમાં ખસેડાઈ હતી.