南山出生在日治台湾嘉义市，嘉义中学毕业后留学满洲国建国大学，二次大战终止后回台，入国立台湾大学继续学业，在台大土木工程学系读书时跟陈茂源老师学《圣经》。1951年在白色恐怖中被抓捕，罪名是翻译老师的老师着名日本学者矢内原忠雄（战后任东京大学校长）探讨马克思主义与基督教的着作，被关了10多年，大部份时间关在绿岛，被关期间完成矢内原先生2部神学着作《耶稣传》（《马可福音》讲义）和《罗马书讲义》的汉译。涂南山反抗中国国民党统治、追求台湾独立建国的意志终其一生，并曾于2014年太阳花学运期间赴立法院探望