闲时开始写作小说、剧本以解苦闷，并四处投搞，但全部作品皆石沈大海。1999年，徐自觉得不能再做不喜欢的事情，毅然辞职回北京老家待着，这一呆就是五年。在这期间，徐皓峰和两位八十多岁的老人相处：李仲轩和胡海牙。李仲轩是徐皓峰的二姥爷，也是形意拳大师尚云祥的弟子；胡海牙则是道教宗师，陈撄宁的弟子。两位成就了徐日后的两部代表作——以胡海牙为原型的《道士下山》，与李仲轩口述的《逝去的武林》；也直接启发了徐对道家及民国武林的认识和兴趣。这时徐皓峰几乎从电影圈消失，但在李安的《卧虎藏龙》上映后发表了一篇影评。