加勒德返回芒特黎巴嫩，成为一位知名农学家。他的儿子詹姆斯监督农场的日常动作，并因在当地农产品展销会上的创新屡获嘉奖。芒特黎巴嫩庄园在1811年新马德里地震中受到重创，但加勒德坚持尽可能地将其修复，希望在那里度过余生。他给自己的农场引进优良家畜——包括纯种的马和牛——还投资了多家商业公司，其中还有多家在他去世后传给儿子的盐场。1822年1月19日，身体状况已持续数年欠佳的詹姆斯·加勒德与世长辞，身后遗骨下葬在自己的庄园，肯塔基州政府在他的坟头竖起了纪念碑。