Hun fødte keiseren to sønner, men begge døde i barndommen. I 18 f.Kr. ble hun og keiserinne Xu beskyldt for trolldomskunst av rivalene Zhao Feiya og Zhao Heda (som for øvrig var søstre), hvorpå Xu ble forstøtt av keiser Cheng. Ban Jieyu bestemte seg da – selv om hun keiser Cheng fortsatt holdt sin hånd over henne – for ikke lenger å være keiserens elskerinne, og ble i stedet hoffdame hos hans mor Wang Zhengjun. Wang hadde en svært god oppfatning av henne: ifølge kildene sammenlignet hun Ban Jieyu med Fan Ji.