神祇権大副・卜部兼文の子。