长推荐给王莽，向长坚决辞让。潜隐在家。研读《易经》至《损》、《益》两卦，叹气说：「我已经知道富不如贫，贵不如贱，但尚不知死与生相比是如何。」建武年间，向长的儿女皆娶嫁，向长便与家里断绝关系，说：「就当作我已经死了吧。」于是随心所欲，与好友北海禽庆一同游历五岳名山，最后不知所终。