Este castillo al igual que el monasterio familiar de San Román de Entrepeñas, siempre estuvo en posesión de los Beni Gómez, desde Diego Muñoz hasta Fernando Pérez, hijo del señor de Valladolid, Pedro Ansúrez.