妃子便在她要经过的地方洒上灰尘，让她经过时会弄脏衣摆；或是在大雨天时，妃子们联合起来故意锁住通往清凉殿之走廊，困住她，让她无法与桐壶帝相见。在种种的恶作剧之下，桐壶更衣终于抑郁成疾，再加上身体娇弱，于光源氏三岁时过世。她去世后，天皇不顾反对，追赠为从三位（即女御，更衣为四位）。足见感情之深。