En sus orígenes, los Señores de Moguer, desde 1333, residieron en el castillo, en las dependencias que se encontraban en su interior.