1923年的治警事件中被日警逮捕迫害。父亲许乃邦先后毕业于京都大学法学部、东京大学经济学部，是当时相当有名的开业律师；母亲洪金雀毕业于东京女子医学专门学校，回台湾后在南投的草屯开业看诊。许世楷的伯父则是二次大战前相当有名的左派政治运动者许乃昌，曾前往苏联首都莫斯科的孙逸仙大学进修。
早年生平.许世楷毕业于国立台中第一高级中学初中部、国立台湾师范大学附属高级中学、国立台湾大学法学院政治系，和前任中国国民党主席连战是高中及大学共七年的同窗。许世楷从军中退伍以后，在1959年获得日本文部