Bolin blei født i Poughkeepsie i New York som den yngste av fire søsken. Faren, Gaius Charles Bolin, var den første afrikansk-amerikaneren som gikk ut fra Williams College og blei advokat. Mora, Matilda Ingram Bolin (født Emery), var engelsk. Hun døde da Bolin var åtte år gammel.