幼家贫，他回忆，从小父亲靠白天拾荒及晚上种田养活一家，而父亲外出所带便当不是清一色白饭，就是顶多加一粒鹅蛋，有时两截甘蔗就当一餐吃。小学毕业后，13岁的蔡振南开始到台北四处打零工谋生，尝试做过道士、歌仔戏演员、布袋戏艺师、魔术师、玻璃工人、布店店员、电镀工人、百货店员及饭店服务生等。直到16岁，蔡振南仍未找到喜欢的工作，却突然收到家中打来「母病危，见报速回」的电报。蔡振南连夜赶回嘉义，母亲却已去世，他深受打击，两度昏迷，休养许久才复原。蔡振南随后留在嘉义从事百货工作，不久又再度放弃，蔡父因此把他带到