Macpherson ble født i Ruthven, den gang en britisk militær utpost som holdt øye med de opprørske skotske høylenderne, i sognet Kingussie, Badenoch, Inverness-shire, Highland. Da prins Charles Edward Stuart, «Bonnie Prince», gikk i land i Skottland i 1745 deltok familien Macpherson på hans side og brente husene i militærleiren Ruthven. Da prinsen sak var ettertrykkelig tapt unngikk James Macpherson familiens øvrige sørgelige skjebne av å bli forfulgt av de britiske myndighetenes hevn. Hans intellektuelle egenskaper sikret at han i 1753 ble sendt til King's College, Aberdeen, og flyttet to år senere til Marischal College (de to institusjonene ble senere Universitetet i Aberdeen). Deretter dro han til Edinburgh for noe over et år, men det er ukjent om han studerte ved universitet. Under den klassiske lærde Thomas Blackwell lærte han om antikken og ble skolert i klassikerne. Han har sagt at han skrev over 4000 linjer med poesi mens han var student, en del av dette ble senere utgitt i (1758), et verk han senere forsøkte å undertrykke.