兄、逃往大和山中，没多久，常盘的生母被平家逮捕，常盘只好携子自首。平清盛因贪恋常盘的美色，遂纳常盘为妾，并赦免常盘生母及牛若兄弟等4人。数年后，常盘又被嫁给公家贵族藤原氏的小文书官，大藏卿，，而牛若在7岁时（1165年）被送到鞍马寺（京都市左京区）学习。之后从一位称为圣门坊的僧侣处得知自己的身世。传说某夜，牛若偷熘出寺，在僧正谷（）遇到武艺高强的「大天狗」（鞍马山僧正坊），后来牛若便常常夜遁至天狗处学习武艺。住持东光坊某日发现牛若不但夜遁习艺而且图谋打倒平家后大惊失色，虽欲强迫牛若出家，但牛