未就学读书，以砍柴、为人修理锄头柄为生，故人称「张锄柄」。一天上山伐木，迷路走至深山，遇见两人在石桌上对弈，他仔细观察，发现两人仙风道骨、气宇不凡，于是躲在一旁观棋，但他随即被两人发现。两人并不责怪，只是拿了一颗桃给他，他一咬桃子，发现味道奇苦无比，味如黄连，但是张觉得这两人是神仙，于是硬是喫了半颗，愈喫愈苦，只好把另半颗弃之于地。两人笑说：「何不能完食？尔食其半者，又须多修数年矣。不能喫苦，焉能得道？」随即消失。张慈观回乡之后，不但识字，还能吟诗作文，书法有王羲之、王献之的风格。到福州双峰寺剃发为僧，