Etter uteksamineringen fra Eustis High School i 1949 begynte Schrieffer å studere ved Massachusetts Institute of Technology hvor han i to år studerte elektroteknikk før han byttet til fysikk. Han fullførte en bacheloroppgave under ledelse av John C. Slater i 1953. Schrieffer fulgte en interesse for faststoffysikk og begynte ved University of Illinois at Urbana-Champaign, hvor han umiddelbart ble ansatt som forskningsassistent for John Bardeen. Etter å ha jobbet seg frem til et teoretisk problem med elektrisk ladning på halvlederoverflater tilbrakte Schrieffer et år i laboratoriet hvor han overførte teorien til flere overflateproblem. I sitt tredje år sluttet han seg til Bardeen og Cooper i utviklingen av teorien for superledning.