毕业于北京大学。1922年赴美国留学，入哥伦比亚大学，获文学硕士学位。从1922年至1928年在美国留学期间，黄文山曾经师从人类学家阿尔弗雷德·路易斯·克鲁伯学习文化理论。1927年任上海劳动大学教授，暨南大学社会历史系教授兼主任。1930年，黄文山曾在西湖茅家庄隐居译书。1930年，任南京国立中央大学社会学系教授兼主任。1930年代至1940年代，黄文山与阎焕文、陈高佣、朱谦之、岑家梧、陈序经等学者有来往。1936年夏，黄文山辞去国立中央大学社会学系教授兼主任以及中山文化教育馆民族组主任职务，返回广东