Hu Shi fikk sin grunnutdannelse i Jixi i Anhui og i Shanghai. Han ble kåret til nasjonal mønsterstudent og den 16. august 1910 ble han sendt til USA for studier ved Cornell University og senere Columbia University. Der ble han kjent med professor John Dewey som gjorte et dypt inntrykk på ham, og han ble for resten av livet en forkjemper for pragmatisk evolusjonær forandring. Han tok doktorgrad i filosofi i 1917 og vendte hjem for å undervise ved Pekinguniversitetet. Der begynte han å skrive for tidsskriftet , og vokste i innflytelse. Han ble en av de ledende intellektuelle i 4. mai-bevegelsen og senere Ny Kultur-bevegelsen. Etterhvert sluttet han å skrive for og utgav på 1920-tallet en rekke politiske tidsskrifter og aviser sammen med sine venner. Han gjorde meget for å fremme litteratur på kinesisk dagligtale slik at ikke den klassiske kinesiske litterære stil skulle være så dominerende. Han var medlem av det litterære selskap Nymåneselskapet.