Horace Pippin Han var født i en fattig familie og vokste opp i brytningstiden etter avskaffelsen av slaveriet, der fargede ble betraktet med skepsis når det gjaldt evner. Familien flyttet til Goshen i delstaten New York i 1891. Han forlot skolegangen i 1903 for å forsørge moren som da var blitt enke. Han fikk arbeide som bærer. Han var allerede som tiåring så smått i gang med å male bilder med bibelske temaer.