Ultramort tenía un castillo situado al norte de la plaza, entre el arrabal de la calle de Figueras y el de Torroella de Montgrí, en lo alto de una colina de formas suaves.