Bunins vokste for det meste opp i Butyrkij Khutor og senere i Ozerky i Jelets. Faren hans beskrev Bunins liv som et lykkelig liv, omringet av intelligente og ordentlige folk. Han beskrev også Bunin som en veldig sterk mann, både fysisk og mentalt, men med et kort temperament.