Don Diego Pimentel y Toledo, que este era su verdadero nombre y varonía (ostentando así las armas heráldicas de Pimentel en su retrato adjunto), casó dos veces: primero, con doña Leonor Francisca de Portugal Colón de Toledo y Vicentelo, IV condesa de Gelves; esta señora era viuda de Fernando Ruiz de Castro y Portugal, quedando en su hija doña Catalina de Castro y Portugal el condado de Gelves.