Sommeren 1968 grunnla han sammen med Chris Squire, Peter Banks, Bill Bruford og Tony Kaye det progressive rockebandet . Yes' debutalbum ble gitt ut i 1969 og Anderson var vokalist og frontfigur i bandet fram til 1979, altså i den perioden som senere ble ansett som den «klassiske Yes-perioden». Anderson var en sentral kreativ kraft i Yes og ble ansett som gruppens leder mens han selv omtalte seg som «lagkaptein», sikkert inspirert av sin tidligere karriere som fotballspiller i Accrington Stanley FC. Anderson er kjent som en av opphavsmennene til Yes' produksjon av en rekke episke verker fra denne tiden.