民政府及其残余军队陆续撤退至台湾，并开始对当地异议份子进行大规模的压制行动。从此，他将自己的过去隐瞒，并以渔业职员的身份沉默而忙碌的度过经济拮据的日子；但是，他仍偶而会以笔名公开发表一些关于艺术与历史的文字作品。1952年，三子庄叔民出生。1955年，小女儿庄季育出生。1977年，他在萌生退休念头前持续兼职于工作；当时，他投入许多时间于阅读及绘画，受委託绘制炭粉肖像画、鱼类生物图谱、地图及大型等，又参与于各种商标设计竞图。
退休生活.1981年，他终于自高雄市渔会正式退休，并开