支厅小基隆区（今新北市三芝区），祖籍福建永定客家人，父亲江温均、母亲郑氏。1914年举家迁居厦门。1918年江文也进入厦门旭瀛书院求学，1922年母亲病故，转往日本，进入长野县上田中学校就读。1928年中学毕业后，遵照父亲遗嘱进入武藏高等工业学校（今东京都市大学）电气科就读，暑假返回台北钖口（今台北市松山区）电力厂实习。由于喜爱音乐，课余时间前往东京音乐学校御茶之水分校夜间部进修，选修声乐与音乐基础理论等课程，作曲老师是桥本国彦。1932年工业学校毕业后，随即到一家印刷工厂当排版学徒，工作之余拜日本名音乐家