国中、嘉义县民雄乡协志工商和台北市立体育专科学校，学生时代是游泳代表队，每天至少游泳5000公尺。由于妻子与儿女定居于加拿大，徐乃麟常常回加拿大陪伴家人；为了赶上搭机时间，他十分要求并注重录影工作时间的掌控。另外，徐乃麟不时在经济方面帮助友人，如主持人许效舜。徐乃麟在家中排行第二，上有一个姊姊，下有一个妹妹。母亲于2018年7月6日逝世，享耆寿91岁。1989年，徐乃麟与担任空姐的汪家琏结婚，两人婚后育有两子一女。徐的儿女皆于加拿大求学；毕业后，大儿子在台湾经营网路事业，于2020年以艺名徐新洋出道，女