江苏省川沙县（今属上海市）内史第。黄炎培十三岁丧母，十七岁丧父，只得寄居在外祖父家。早年就读于东野学堂，学习四书五经，16岁时考县试，再考府试，榜上有名。后来，其姑丈资助他入读西学，故于1901年，入读南洋公学（现上海交通大学）。1902年应江南乡试，中举人，回校后，因为抗议校方开除学生与其他学生集体退学。其后回乡川沙办学。改革地方学院成为川沙小学。1903年在南汇县演讲被县衙门当革命党捕获。由美国传教士步惠廉极力保释，得以在省巡抚“就地正法”批示到达之前出狱。随即流亡日本。3个月后回到上海，为多所学校服务