伪典《雅各福音书》主张雅各是约瑟夫的前妻所生，是耶稣的同父异母兄，非由圣母玛利亚所生，这个观点被希腊东正教会接受。耶柔米相信圣母玛利亚是童贞无瑕的，同意《雅各福音书》的说法，但主张雅各是耶稣的表兄弟，或是堂兄弟，并不是同父所生。而且认为他与亚勒腓的儿子雅各是同一个人，也就是小雅各。这个说法被罗马天主教会所接受。有些记载则指出雅各跟耶稣没有任何的血缘关系，只有精神上及信仰上的关连。学者詹姆斯·塔波（James Tabor）认为，亚勒腓的儿子雅各、公义者雅各、小雅各，三者都是同一个人的不同名称，