早孤，六岁过继给居住金华的堂叔许觥为嗣。自幼好学，由伯母口授《孝经》、《论语》，入耳不忘。长大后，致力于学。常向人借经、史、子、集诸书，自定日程，昼夜勤读，虽病不辍。年过三十，开门授徒，听说金仁山（金履祥）在兰江讲学，三十一岁时前往投金履祥门下为弟子，为何基三传弟子。北山四先生之一。程朱理学经黄干、何基、王柏、金履详至许谦发扬光大。哲学上以朱熹理学为正宗，重习经史，尤重“四书”。晚年自通贯经传，其于书无所不读，除儒家经典外，天文、地理、典章制度、食货、刑法、音韵、医学以及佛老之言，莫不钻研。许谦前后四十年足