「我乃生瑍，瑍那得生灵运！」其母亲是王羲之与郗璇的独女王孟姜的女儿。谢灵运小时，在钱塘道士杜子恭的道馆中寄养，十五岁回建康，故小名客儿。灵运“博览群书；文章之美，江左莫逮。”十八岁袭封康乐公，世称谢康公、谢康乐。406年，谢灵运出仕。义熙二年（407年），改从抚军将军、豫州刺史刘毅任记室参军。义熙八年（413年），刘毅反刘裕，兵败自杀，谢灵运返京任秘书丞。义熙十一年（416年），转中书侍郎。义熙十四年（419年），刘裕在彭城建宋国，谢灵运任宋国黄门侍郎。420年，刘裕代东晋自立，创刘宋，是为宋武