García era el segundo hijo del virrey de Nápoles, Pedro Álvarez de Toledo y de Zúñiga y de María Osorio Pimentel, II marquesa de Villafranca del Bierzo, y a la muerte de su hermano mayor Fadrique, pocos meses después de recibir Fernandina, se convirtió en IV marqués de Villafranca del Bierzo.