La obra inicial de esta fortaleza se sitúa en torno a 1339 y se debe al matrimonio de Juan López de Salazar e Inés de Muñatones y para su ubicación eligieron un emplazamiento estratégico, el solar de San Martín, situado entonces junto a un puerto fluvial (desaparecido) y al trazado de la calzada costera que llevaba de Portugalete a Castro Urdiales.