Siendo obispo de Ávila y señor de Bonilla Lope de Barrientos (1441-1445), el imponente castillo sirvió de residencia a Juan II y al resto de la corte entre el 16 de febrero y el 27 de abril de 1440 cuando el rey buscaba refugio cerca del conde de Alba y del señor de Villafranca, en medio de un ambiente de gran tensión política en toda Castilla, provocado por el acoso incesante de los Infantes de Aragón que pretendían hacerse con la corona de Castilla.