仅是中流贵族，为尊亲王却为天皇之子），加上和泉式部乃有夫之妇，有关两人的流言和非议迅即传遍平安京宫廷。结果和泉式部丈夫橘道贞愤然与她离缘，其父大江雅致亦与她断绝父女关系。然而这段爱情仅维持了一年多，于长保四年（1002年）因为为尊亲王急病早逝告终。日本历史小说《荣花物语》卷第七中记录，有传言认为尊亲王急病而亡的原因是他「微行荒淫」，不顾疫病流行于夜晚外出，而他所夜访的女性就是和泉式部。他逝世时仅26岁，冷泉院对他的早逝也叹息不已。