农夫是刘宋南豫州刺史，曾叔祖父任候伯官位辅国将军、行湘州事，二人都是将领。任孝恭自小失去父亲，因孝顺侍奉母亲闻名；他也专心求学，家中因为贫穷没有书本，他就长途跋涉问别人借书，阅读一次后就能背诵。任孝恭的外祖父丘它和梁武帝是旧识，武帝得知他的才学，就征召为西省撰写史书。最初他任职奉朝请，在寿光殿工作时担任司文侍郎，很快兼任中书通事舍人。朝廷下令他写下《建陵寺刹下铭》，又为武帝文集写序，辞文富丽，因此掌管朝廷着述。任孝恭文思快捷，得诏令后很快完成，每次上奏武帝都称赞他，赐下不少金帛。他年轻时跟从萧寺云法师学习经