一家的栗山名乘（300石～800石）。祐玄坊出现在《关原决战图屏风》及其他资料中，故秀吉私生子之说可信度不高。
丰臣家臣时代.天正年初，吉继担任秀吉的小姓。天正5年（1577年）10月，秀吉受命于织田信长，开始攻略播磨，驻扎在姬路城。吉继此时与脇坂安治、一柳直末、福岛正则、加藤清正及仙石秀久等担任秀吉的御马廻众，当时名为大谷平马。天正6年（1578年）5月4日，尼子胜久的上月城遭受毛利辉元军势的包围，秀吉为尼子军的救援部队，吉继当时也跟随出征。之后在进攻三木城时，吉继也担任马回众从