Hans familie flyttet til USA da han var to år gammel fordi faren fikk en jobb der og Baez vokste opp i Brooklyn. Baez mottok en bachelorgrad i matematikk fra Drew University i 1933 og deretter tok han en mastergrad i fysikk fra Syracuse University i 1935. I 1936 giftet han seg med Joan Chandos Bridge, datter av en episkopal prest. Paret begynte som kvekere og fikk tre døtre, Pauline, Joan og Mimi. Paret flyttet til California, hvor Baez tok en doktorgrad i fysikk.