Elven er oppkalt etter James, hertug av York og Albany, den senere kong James II av England. Ved elven hadde Hudson's Bay Company handelsstasjonen Fort Albany i pelshandlerperioden.