臣张公谨，在初唐是极显赫的世族。其祖父张大素官至门下省东台舍人，后被贬为怀州长史，家道中落。父亲名叫张懔，任武功县令。二十一岁时因父母双亡，遇见天台宗玉泉弘景大师，兴起了出家的念头。遂在嵩山普寂大师门下剃度为僧，因为深入「一行三昧」，故法名一行。后于嵩山、玉泉寺学习佛教经典和天文数学。开元四年，善无畏三藏自那烂陀寺来到长安，一行禅师随之受胎藏法。开元五年（717年），唐玄宗李隆基派专人将他接回长安，参与善无畏大师的译经，协助翻译《大日经》。开元八年，金刚智三藏来到了洛阳，一行便依从受法《金刚顶经》