若桜部造氏は、『新撰姓氏録』によると、「右京神別」に神饒速日命の「三世孫出雲色男命之後也」とある。