Los solares de este palacio habían sido cedidos a los Almirantes por la Corona de Aragón tras la conquista de Valencia por Jaime I, y como resto de las primitivas construcciones aún subsisten en la parte trasera del edificio gótico los Baños del Almirante, de época cristiana (1313), actualmente con acceso independiente.