祖籍陈郡阳夏县（今河南省太康县），高祖父谢允，曾祖父是谢裕之弟谢述，祖父谢纬，父亲谢朓。南齐时谢朓与殷睿、萧衍为文友，萧衍以大女儿萧玉姚（永兴公主）许嫁给殷睿子殷钧，第二女萧玉婉（永世公主）许嫁谢谟。萧衍为雍州刺史，二女都暂时随母到雍州。萧衍即位为梁武帝，二女回到建康。萧衍不喜欢谢谟，想把萧玉婉改嫁张弘策的儿子，张弘策死后，萧玉婉改嫁王志的儿子王諲。谢谟非常惆怅、不堪叹恨，写了一封像诗的信给萧玉婉，萧玉婉给萧衍看，萧衍也很慨叹，但是公主始终没有回谢家。谢谟为信安县令，回来转任王府咨议。