，由于次兄守觉法亲王出家为僧，因此《平家物语》将他记载为后白河的第二皇子。以仁王幼年曾跟随天台座主最云法亲王出家学习佛法，但应保2年（1162年）最云圆寂后就还俗了。以仁王自幼才学出众，擅于创作和歌和吹笛，且能写一手好字。后白河上皇最初试图将他立为六条天皇的太子，但由于建春门院的作梗而作罢。永万2年（1165年），建春门院和后白河上皇所生的儿子宪仁亲王成为了皇太子。同年，15岁的以仁王在近卫河原秘密举行了冠礼，此后成为八条院暲子内亲王的养子。仁安元年（1166年），以仁王的舅舅藤原公光被罢免了权中纳言兼