连无所不知的水母阴姬门下也只推测出他是夜帝（见古龙另一小说《铁血大旗门》）的关门弟子。而唯一可能知道他师承的胡铁花认为，这个推测虽然不完全正确，但也与事实十分接近了。另一说法为铁中棠，因为铁中棠在地洞被困期间，夜帝曾传授武功。在楚留香在第一部小说《血海飘香》里出场时，他已经“成名近十年”。少年时代，他与胡铁花、姬冰雁一起，被称为“雁蝶为双翼，花香满人间”。楚留香当时左有飞雁，右有彩蝶，笑傲江湖，纵横天下。一次胡铁花在醉酒后答应与华山派的清风女剑客高亚男成亲，酒醒后反悔，不告而别；之后不久，姬冰雁也离开了