东北反对平家，威胁到了平家的统治，平家首领平宗盛派其前往征讨，但遭到赖盛的拒绝。平家在俱利伽罗峠之战中大败，平宗盛率全体成员逃出京都，前往九州岛。赖盛率部跟随，但到了鸟羽南殿就托故回军，脱离了平家，独自留在了京都，并受到了八条院的庇护。次年前往镰仓会见源赖朝。由于池禅尼在平治之乱后曾保住了赖朝的性命，因此赖朝同意保住其官位和庄园，成为在坛之浦之战后伊势平氏中唯一倖存的一支。