A lo largo de la historia la casa de Toledo se fue dividiendo en varias ramas familiares y sólo una de ellas ostentó el título de conde de Oropesa, siendo diferente a la que formó el linaje de la casa de Alba, aunque tras quedarse sin descendencia en el siglo XVIII, el título quedó integrado a ésta, al compartir parentesco.