父亲唐泽杢之助本来仕于斋藤宪广，但是在永禄6年（1563年）投向武田家。永禄8年（1565年），杢之助在上野国嵩山城的攻防战被讨死，翌年武田信玄向于猿送出感谢状。继承唐泽家的玄蕃因为高超的技法而被称为「飞六法」、「忍者名人」。擅长跳跃术和火药术，在天正元年（1573年）侵入上野国尻高城进行火攻。在长篠之战中亦有参战，于武田家灭亡后仕于真田昌幸，在小田原征伐中从军。在关原之战以后仕于昌幸的儿子信之。