Nacido el 7 de mayo de 1918 en Memphis, Tennessee, Olson creció en Misisipi y recibió su preparación universitaria en la Universidad de Misisipi, en la que se graduó en 1938.