Bannister nació en Saint Andrews, Nuevo Brunswick y se mudó a Nueva Inglaterra a finales de la década de 1840, donde permaneció durante el resto de su vida. Bannister era bien conocido en la comunidad artística de su hogar adoptivo de Providence, Rhode Island y admirado dentro del amplio mundo artístico de la Costa Este: ganó una medalla de bronce por su gran óleo "Bajo los Robles" en laExposición Universal de Filadelfia de 1876. Sin embargo, cayó en el olvido durante cerca de un siglo por diversas razones, principalmente los prejuicios raciales. Bannister comenzó su carrera oficial como artista cuando un artículo en el 1867 "New York Herald" los menospreció tanto a él como a su trabajo, declarando que "... "el negro aprecia el arte, pero es manifiestamente incapaz de producirlo"". Antes de trabajar como pintor, Bannister trabajó como barbero y pintor de fotos. En la década de 1850, asistió a las conferencias dadas por D. William Rimmer, un escultor conocido por su precisión en la representación de la figura humana. En el transcurso de su carrera, Bannister recibió la influencia de las pinturas inspiradas en la escuela de Barbizon de William Morris Hunt, quien había estudiado en Europa y celebrado numerosas exposiciones públicas en Boston alrededor de la década de 1860.