克里于1838年7月8日在肯塔基州里士满出生，他的父亲叫埃德蒙··麦克里（），母亲叫萨布丽娜·麦克里（），母亲的娘家姓叫贝内特（）。詹姆斯在当地的公共学校接受了早期教育，然后获位于丹维尔的美国中央大学录取，于1857年获得学士学位。接下来他很快进入位于田纳西州威尔逊县县城莱巴嫩的坎伯兰大学进修法律。1859年，他从坎伯兰大学获得法学士学位，并且是全班47名学生中的毕业生代表。获得律师执业资格后，他开始在里士满从事法律工作。1862年8月29至30日的里士满战役结束后不久，麦迪逊县的邦联支持者大卫·沃勒·