后来迁到杜陵。尹翁归幼年丧亲，和叔父同住。开始作为狱吏，明法律，喜欢击剑，他人不能相当。当时，大将军霍光掌权，霍氏家族在霍光故乡平阳街市不法，市吏不能禁止，尹翁归为市吏，霍氏家族不敢侵犯。廉洁不受礼物，商人都敬畏他。尹翁归辞吏回家，田延年担任河东太守，亲自召见故吏五六十人，善文者居东，善武者居西站立。尹翁归自己跪着不肯起，说：“翁归文武兼备，不知站在哪边。”周围的人都认为他傲岸不逊，田延年于是看重尹翁归，任用为卒史，后来转任督邮。尹翁归监察得当，后昇进县尉，历任郡中丞、尉，官至弘农都尉。朝廷征召