行前他和徐勉告别，徐勉说：「以前淮淝之役，你祖先谢玄曾立下大功劳，这次你会如何？」他回答：「你也比你的祖先优胜，我亦不需要愧对祖先。」徐勉默然。之后军队在涡阳败退，他坐事被免官。谢几卿住在白杨石井，在朝中和他友好的人带酒来喝，宾客满座；其时尚书左丞庾仲容亦被免官归乡，两人意志相投，肆意放诞，乘搭无帷盖的车子游览郊野，喝醉就拿起乐器唱歌，不理会旁人议论；湘东王萧绎在荆州镇守，写信劝勉谢几卿。谢几卿虽然不保持操行，但家门和睦，兄长谢才卿早逝，留下儿子谢藻，他就好好抚养谢藻。谢藻长大，历任清官公府祭酒、主簿，