Diego era el hijo menor de Diego Velázquez Dávila y Bracamonte, marqués de Loriana, y de Leonor de Guzmán, tía del conde-duque de Olivares.