在天津大观园戏园看戏，见天津女伶杨翠喜，惊艳之，赞不绝口。段芝贵遂以10万大洋将杨翠喜买下，并献给载振。
背景.光绪三十三年（1907年）朝廷改革东北官制，奉天、吉林、黑龙江三省设巡抚，分别由唐绍仪、朱家宝、段芝贵担任。3月，汪康年的《京报》载文披露此事，轰动京城。是年5月7日，瞿鸿禨门生、御史赵启霖弹劾段芝贵以歌妓献于载振，遂得署黑龙江巡抚。慈禧太后诏命孙家鼐彻查。载振紧急将杨翠喜辞退，孙家鼐复命查无实据。16日，赵启霖反因“奏劾不实”被革职查办，一时舆论哗然。清廷不得不撤段