宋太祖命潭州防御使潘美及引进使丁德裕等发兵攻克南汉治下郴州，俘获城内的南汉宦官十余人，其中就有余延业。余延业被押送汴京，太祖问：“你在岭南做什么官？”答：“做扈驾弓箭手官（皇帝的弓弩卫兵）。”太祖命给他弓箭让他射箭，余延业极力也拉不开弓。太祖于是笑问汉帝刘鋹为治之迹，余延业备言其奢酷：作烧、煮、剥、剔、刀山剑树为刑罚，令有罪者搏象击虎，以为笑乐，又置媚川都入海采珠，所居宫殿动辄以明珠玳瑁装饰，琼州米每斗定税五钱，邕州民入城者交一钱，内官陈延寿作奇技淫巧，日费金钱巨万，宫城左右离宫数十，游幸无度，每天向豪民课