Está situado al lado de la iglesia de Nuestra Señora de la Asunción, y desde el año 1948 es alquilado por parte de sus propietarios, los marqueses de Santa Cruz, a la Armada Española, quien primero lo destinó a Museo de la Marina Española y más tarde amplió sus funciones estableciendo también el Archivo General de la Marina.