京都高雄山神護寺の再興を後白河天皇に強訴したため、渡辺党の棟梁・源頼政の知行国であった伊豆国に配流される(当時は頼政の子源仲綱が伊豆守であった)。