Buber ble født i Wien, men tilbragte en del av oppveksten hos besteforeldrene Adele og Salomon Buber i Lemberg i Galicja (senere Lviv i Ukraina). På begynnelsen av 1800-tallet hadde Galicia en stor og voksende jødisk befolkning, og størstedelen av jødene i Det østerrikske keiserrike bodde der (omkring av offisielt i 1850). Lemberg var på 1800-tallet dominert av jøder (rundt en tredjedel av innbyggerne) og etniske polakker (i overkant av 50 % av innbyggerne); etniske ukrainere utgjorde 10-20 %. Den jødiske befolkningen i Galicia var ved århundreskiftet på over , samtidig flyttet mange jøder fra Galicia til Wien slik at hovedstaden ved århundreskiftet hadde over 10 % jødiske innbyggere. Lemberg var sentrum for den jødiske opplysningsbevegelsen, haskalá. Borgerskapet i Lemberg, både jøder og etnisk polske, brukte stort sett tysk språk til daglig og i skolene, og relaterte seg i stor grad til det kulturelle livet i Wien. Familien Buber var velstående og blant Lembergs ledende jødiske intellektuelle. Oldefaren, Salomons far, var en kjent rabbiner og Talmud-ekspert. Da oldefaren døde møtte tusenvis opp i begravelsen og Salomon satte av en stor pengesum til etablering av et sykehus til farens minne. Martin Buber flyttet tilbake til fødebyen Wien i 1897 for å studere. I hjemmet hans snakket man jiddisch. På skolen lærte Buber polsk, fransk og hebraisk. Buber lærte også gresk, latin, italiensk og engelsk.