读于刘海粟创立的上海美术专科学校(即现在南京艺术学院)学习油画，但20岁出头的木心因为领导学生运动，被当时的上海市长吴国桢亲自下令开除学籍，又被国民党通缉，走避台湾。直到1949年中华人民共和国成立之前，才回到大陆。1948年自上海美术专科学校毕业，是林风眠的学生。毕业后，任教于杭州高级中学（省立杭高）。1950年代起在上海工艺美术研究所任职。期间他利用业余时间从事文学创作。文化大革命期间他因言获罪于1971年被关进废弃防空洞半年之久，然后又是劳动改造，一共被囚禁18个月，所有作品皆被烧毁，三根手指惨遭折断