小接受战后国民政府国民教育，中学时勤学汉语和英语，他曾向庄紫蓉回忆：「假期时早上5、6点，我经常骑着脚踏车到台南市的忠烈祠，看看英文书，背背英文。」（当时忠烈祠在台南市中西区，原址现在是1座大型地下停车场）大学加强英语的同时，跟黎烈文教授学法语，暑假到台北市补习德语，到美国又学了日本语（在哈佛大学开始学）和满文。许能阅读汉、英、法、德、日、满文，但最善台语、汉语、英语。