人麻呂の出自については不明であるが、父を柿本大庭、兄を柿本猨(佐留)とする近世の文献がある。