赴日考取私立帝国美术学校，一学期后，因付不出学费而休学。后来为了报考国立东京美术学校之中学生毕业资格，进入京都两洋中学校完成学业，同时夜间于关西美术学院习画。身无分文，婉拒家中生活援助，送报赚取生活费。张义雄前后五次东京美术学校入学考试失败，仍继续到川端画学校进修，也开始到街头为路人画像。太平洋战争爆发，张义雄从日本来到北京，投靠行医的大哥张嘉英，在大哥主婚下与从小到张家帮佣的江宝珠成婚。二战结束，回到台湾，1948年受邀到省立师范学院担任助教，因为不适应学院生活于隔年离去，和妻子在家中开设美术补习班。