Hijo de Rodrigo de Peñalosa y Ribero, natural de Ciudad Rodrigo y de Ventura de Contreras y López de Ayala, hija del Marqués de Lozoya.