1950年于医院开主任会议时，与许强医师等人同时被捕，成为绿岛第一批政治犯，史称台北市工委会案。胡鑫麟坐牢10年期满后，返回故乡台南市行医，常遭警察问查，后曾受邀到日本行医。胡乃元的第一把琴便是胡鑫麟委託绿岛难友以手工打造。胡乃元的母亲李碧珠是中央研究院院士李镇源教授之妹。1991年李镇源参与了废除刑法一百条运动，胡乃元受其影响，曾在现场演奏小提琴。