1948年9月至1951年12月间，任教于台湾师范学院（今国立台湾师范大学）艺术系，教授包括素描、水彩和版画，杨英风是他的第一届学生。黄荣灿曾参与四六事件的麦浪歌咏队，也曾因资助蔡瑞月被卷入其舞蹈社冤案。此外，他也对台湾原住民文化感好奇，多次前往兰屿、绿岛记录风俗民情。在台湾白色恐怖时期的1951年12月1日，黄荣灿被吴乃光案所牵连，吴乃光系1941年在安徽加入共产党，光复后来台时曾居住在黄荣灿处，而后在嘉义农校任教，因病离职后在屏东开书店继续从事宣传活动，遭到亲友检举，屏东宪警循线逮捕，据吴乃