Moose Factory ligger på Moose Factory Island, en øy i den vide elven Moose Rivers som renner ut i James Bay fra sør. Moose Factory nås med taxibåt om sommeren, og med isvei om vinteren, fra det nærliggende Moosonee; i periodene imellom (når isen legger seg, når den bryter opp) benyttes helikopter.