盛所败，随后于逃亡途中在尾张遇害，源氏一族亦非死即逃。母亲常盘带着牛若及牛若的两名同母兄、逃往大和山中，没多久，常盘的生母被平家逮捕，常盘只好携子自首。平清盛因贪恋常盘的美色，遂纳常盘为妾，并赦免常盘生母及牛若兄弟等4人。数年后，常盘又被嫁给公家贵族藤原氏的小文书官，大藏卿，，而牛若在7岁时（1165年）被送到鞍马寺（京都市左京区）学习。之后从一位称为圣门坊的僧侣处得知自己的身世。传说某夜，牛若偷熘出寺，在僧正谷（）遇到武艺高强的「大天狗」（鞍马山僧正坊），后来牛若便常常夜遁至天狗处学习武艺