El museu s'allotja en l'antic "Palau del Governador", únics vestigis del complex palatí de l'interior del recinte superior del castell de Dénia. Edifici molt malmés durant la guerra de Successió, fou restaurat el 1984.