赦免常盘生母及牛若兄弟等4人。数年后，常盘又被嫁给公家贵族藤原氏的小文书官，大藏卿，，而牛若在7岁时（1165年）被送到鞍马寺（京都市左京区）学习。之后从一位称为圣门坊的僧侣处得知自己的身世。传说某夜，牛若偷熘出寺，在僧正谷（）遇到武艺高强的「大天狗」（鞍马山僧正坊），后来牛若便常常夜遁至天狗处学习武艺。住持东光坊某日发现牛若不但夜遁习艺而且图谋打倒平家后大惊失色，虽欲强迫牛若出家，但牛若不肯，最后姑且先起法名为「遮那王」，命牛若静心学习，忘却俗世。传闻遮那王11岁（1169年）某日在回寺的路上