Pedro Álvarez de de Toledo se casó en Alba de Tormes el 8 de agosto de 1503 con María Osorio Pimentel, II marquesa de Villafranca del Bierzo; hija de Luis Pimentel, I marqués de Villafranca del Bierzo y de Juana Osorio.