为他博闻多识，被任命为大鸿胪。宝鼎元年（266年，晋泰始二年），受命与五官中郎将丁忠出使晋国，吊祭司马昭。张俨到了晋都洛阳后，贾充、裴秀、荀勖等试图难倒他都没能成功，羊祜、何桢都来与他结交。后来张俨在返回武昌的途中去世。张俨着有《默记》三卷，两个儿子张翰、张勃也都善于写作。由于诸葛亮《后出师表》出自张俨《默记》一书，因此一直以来，都有《后出师表》是否为张俨托名伪作的争议。张勃在《吴录》中为张俨作传，开历代史书子为父作传之先河。