Alfonso de Borja era hijo de uno de estos hidalgos venidos a menos, que vivían a estilo de labradores, pero conservando con orgullo el escudo de la familia: un toro rojo sobre fondo de oro, símbolo de la robustez, la acometividad y el ardor de todos los que llevaban dicho apellido.