祖谦自幼随父在福建任所，师从林之奇，至临安，师从汪应辰和胡宪。吕祖谦以祖致仕恩，补为将仕郎，南宋高宗绍兴二十七年（1157年），改为迪功郎，南宋孝宗隆兴元年（1163年）四月，中博学鸿词科，特授左从政郎。南宋孝宗干道二年（1166年）十一月，其母逝，归葬婺州。南宋孝宗干道六年（1170年），任太学博士，兼国史院编修官、实录院检讨官。干道八年（1172年）二月，其父去世，久居明招山守墓服丧。淳熙三年（1176年），因李焘推荐，升任秘书省秘书郎。吕祖谦与朱熹、张栻过从甚密，时称“东南三贤”。曾与朱熹一同讲学