De 1962 a 1967 Baker formó parte del Southern Conference Education Fund (SCEF), que buscaba ayudar a negros y blancos a trabajar juntos.