En este castillo nació y vivió San Francisco Javier, hijo de los Señores de Javier, y de aquí tomó su apellido.