很久以来事迹都和北条氏康的九男氏光所混淆。根据佐脇栄智的研究氏尧的出生年份已经确定，和氏康仅相差七岁（所以不可能是氏康之子），而且氏光的存在已经确定。现在的主流观点确定其是氏纲的四男，氏康的弟弟。这一问题的根源在于氏康的后代中有明确的出生年份的只有氏政、氏规和桂林院（北条夫人），所以后世才有了诸多说法。另一方面，有说法认为氏康的六男（一说七男）氏忠和氏光其实是氏尧之子，氏尧去世后成为了氏康的养子。另有一女为正木赖忠正室（一说其实是北条氏隆或者田中泰行之女）。