Джеймс родился в Бостоне в 31 октября 1737 года и получил среднее образование в . Его отец, Джон Ловелль (1710—1778) был директором этой школы с 1738 по 1775 год. Джеймс закончил Гарвардский университет в 1756 году, после чего присоединился к своему отцу и преподавал в Латинской школе, продолжая собственное обучение. Он получил степень магистра искусств в Гарварде в 1759 году. Отец и сын продолжали свою работу в школе вплоть до её закрытия в апреле 1775 года во время осады Бостона в войне за независимость США.