耶稣之间的关系，有很多不同的传说。根据《马可福音》与《马太福音》，有些早期教父，如革利免、俄利根，认为他与耶稣同是圣母玛利亚的儿子，是耶稣最大的弟弟。伪典《雅各福音书》主张雅各是约瑟夫的前妻所生，是耶稣的同父异母兄，非由圣母玛利亚所生，这个观点被希腊东正教会接受。耶柔米相信圣母玛利亚是童贞无瑕的，同意《雅各福音书》的说法，但主张雅各是耶稣的表兄弟，或是堂兄弟，并不是同父所生。而且认为他与亚勒腓的儿子雅各是同一个人，也就是小雅各。这个说法被罗马天主教会所接受。有些记载则指出雅各跟耶稣没有任何的