Biblioteket ble grunnlagt i 1854 og bygningen er tegnet av arkitekten Joseph Reed som også tegnet Melbourne Town Hall og Royal Exhibition Building. Bygningen som biblioteket ligger huset også National Gallery of Victoria (inntil slutten av 1960-årene) og Melbourne Museum (frem til åpningen av museumsbygget i Carlton Gardens på slutten av 1990-årene).