关于他的出生有几个说法，父亲因病到丰后国治疗，一度成为大友家的家臣时出生，这种说法最没根据，也有说是羽柴秀吉的私生子。比较有力的说法为他是六角家的家臣的儿子，天正初年成为秀吉的小姓。《华顶要略》的「坊官大谷家系图」有大谷吉继的名字，为本愿寺妻妹之子，或青莲院门迹坊官大谷泰珍之子。大谷吉继有兄弟姐妹，历史上记载他有栗山林齐和祐玄两个外甥存在，栗山林齐在摄津国池田出家，被黑田长政命令出仕栗山备后一家的栗山名乘（300石～800石）。祐玄坊出现在《关原决战图屏风》及其他资料中，故秀吉私生子之说可信度不高。