I 1972, mens White var med Joe Cocker på turné, fikk han en invitasjon fra Yes om å erstatte Bill Bruford, som nettopp hadde forlatt bandet til fordel for King Crimson. Bare tre dager etter sitt første møte med Jon Anderson og Chris Squire, spilte han på sin første Yes-konsert. Han lærte seg de viktigste låtene til Yes, inkludert det komplekse albumet , på den korte tiden. White og Yes ga hverandre en frist på tre måneder for å finne ut om de passet sammen, og White var medlem av bandet fra da til sin død i 2022.