Bullard nació en Columbus, Georgia. Fue el séptimo de los 10 hijos de William (Octave) Bullard, un hombre negro de Martinica, y Josephine ("Yokalee") Thomas, una mujer indígena Creek. Los antepasados de su padre habían sido esclavizados en Haití por un amo francés que luego huyó durante la Revolución Haitiana . Después de la revolución, sus antepasados emigraron a los Estados Unidos y se refugiaron con los nativos americanos de la tribu Creek. Asistió a la escuela Grammer en la 28th Street en Columbus desde 1901 hasta 1906, completando el quinto grado.