不适应学院生活于隔年离去，和妻子在家中开设美术补习班。艰困生活激发创作灵感，这个时期创作多採用强烈粗犷的黑色线条和色块，接连获省展(台湾省全省美术展览会)及台阳美展(台阳美术协会)特选。张义雄生活并不得志，在台搬家八次。1954年与廖德政、洪瑞麟、陈德旺、张万传、金润作等人组成「纪元画会」，此后数年多次举办画展。1963年获聘国立台湾艺术专科学校兼任副教授，1964年，一位美国收藏家购买张义雄64件作品，获大笔收入，想要离开戒严的台湾，移民巴西。先经日本停留，被骗光积蓄，留在日本。张义雄在街头为人画像，