Der erste Entwurf wurde 1891 vom tschechischen Architekten Karel Pařík angefertigt, doch nach Kritik des Gouverneurs Benjámin Kállay beendete er das Projekt. Das Gebäude wurde dann 1892–1894 nach Plänen des österreichischen Architekten Alexander Wittek als Rathaus erbaut. Es gilt als eines der bedeutendsten Beispiele des sogenannten pseudo-maurischen Stils. Der österreich-ungarische Erzherzog und Thronfolger Franz Ferdinand besuchte das Rathaus von Sarajevo am 28. Juni 1914 zwischen dem ersten auf ihn gerichteten Attentat, das scheiterte, und dem zweiten, tödlichen Attentat. Seit 1947 wird das Gebäude als National- und Universitätsbibliothek genutzt.