På de dagene hvor Fannie lot «June» bli med henne på jobb lot Fuller ham se gjennom kunstbøker og høre på klassisk musikk. Den unge Ernest ble fengslet av kunstverkene og musikken, og innen han begynte i første klasse var han kjent med blant andre Toulouse-Lautrec, Delacroix, Rubens og Michelangelo. Da han begynte på ungdomsskolen var han godt kjent med flere av kunstverkene på muséer, selv om det skulle gå flere år før han fikk lov til å besøke dem på grunn av segregering.