。其母亲常盘御前原为近卫天皇中宫九条院的侍婢，以千中选一的美貌着称，后来成为源义朝的侧室。1159年，牛若诞生后不久，父亲源义朝即于平治之乱中为平清盛所败，随后于逃亡途中在尾张遇害，源氏一族亦非死即逃。母亲常盘带着牛若及牛若的两名同母兄、逃往大和山中，没多久，常盘的生母被平家逮捕，常盘只好携子自首。平清盛因贪恋常盘的美色，遂纳常盘为妾，并赦免常盘生母及牛若兄弟等4人。数年后，常盘又被嫁给公家贵族藤原氏的小文书官，大藏卿，，而牛若在7岁时（1165年）被送到鞍马寺（京都市左京区）学习。