De este modo, entre 1903 y 1905, el arquitecto Pedro Cerdán inició la construcción del museo actual en el solar del antiguo Convento de la Trinidad, exclaustrado a consecuencia de la desamortización de Mendizábal, del que el autor reutilizó algunos elementos arquitectónicos (como las columnas de mármol blanco del antiguo claustro).