Louisville, Kentucky
ベイカーはルイビルのデュポン・マニュアル高等学校を経てルイビル大学へと進み、数学を専攻した。ベイカーは天文学に関心を持ち、1931年にルイビル天文学会の設立に参加した。またベイカーは、在学中に将来の妻となるエリザベス・キャサリン・ブライテンシュタインと知り合った。そして1935年、ベイカーはルイビル大学を卒業し、文学士の学位を取得した。