El edificio fue construido el año 1595 y formaba parte de la finca llamada Torre Blanca, origen de la actual ciudad y en la que había "el hospital" que le dio el nombre.