上皇方面的势力较为弱小，因此源义朝、平清盛等人投入了后白河天皇的阵营，重仁亲王乳母池禅尼的儿子平赖盛也投奔了天皇阵营。后白河天皇于11日黎明时分袭击了崇德上皇所居住的鸟羽北殿，崇德上皇逃出御所。
配流赞岐.13日，崇德上皇逃入仁和寺，投奔同母弟觉性法亲王。但觉性却将其逮捕，关押在宽遍法务的旧房里，由源重成看押。23日，崇德在数十名武士的押解下乘船流放赞岐国，时人称之为赞岐院。天皇和上皇被流放外地，自764年藤原仲麻吕之乱淳仁天皇流放淡路以来这是首次。此后崇德上皇再也没有回到京都，8