谢灵运天性偏激,常常有触犯礼法律令的行为。朝廷只把他当做有些才华的文人,而不是有学识才干的政治家。而他自己却认为有水平参与国家大政,却不被赏识得到重用,经常愤愤不平。永初三年(422年),宋少帝继位,权力掌握在大臣的手上,谢灵运在中间挑拨离间,诽谤当权的人。司徒徐羡之等人很怕他,便排挤他外放任永嘉太守。永嘉郡有很多名山秀水,谢灵运一贯喜欢游山玩水,因为他是被贬谪出来的,于是便任情地遨游,足迹几乎踏遍了每一个县,每次出游,经常十数天不归,治民、进贤、决讼、检奸等郡守的主要职责,他一概不闻不问。他无论到哪个地方,都吟诗作赋,表达他的感受和心意。在郡上任职只一年,便称病离职,返乡隐居。他的堂弟谢晦、谢曜、谢弘微等都写信规劝他,但他根本不听。谢灵运祖父和父亲都安葬在伯宁县,那里有他家的老屋和别墅。于是他自行把自己的籍贯改成会稽郡,在那里修建房屋和庄园,他的居处前瞰环环的秀水,后背巍巍的大山,极尽幽深静谧的风致。他和隐士王弘之、孔淳之等逍遥放纵,作诗为乐,他每一首诗被传到京城,无论贵贱竞相传抄,一夜之间,官吏百姓便对这首诗知晓熟悉了。远近四方的人非常仰慕他,一时间,名噪京城。他还写了一篇《山居赋》并自己进行注释,以记述这些事。景平二年(424年),刘义隆登基为帝,并于元嘉三年(426年)诛杀权臣徐羡之等人,随后调任谢灵运为秘书监,但两次召见,谢灵运都没理睬。刘义隆派光禄大夫范泰写信给谢灵运称赏他,他才应召就任。皇帝叫他整理秘书省的书籍,补增遗漏的地方,又因为有晋一代没有一本完整的史书,所以叫谢灵运写一本《晋书》,他写出粗略提纲,但这书终究没有写成。不久又升任侍中,每天早晚被召见,很得文帝的宠爱。