Remington ble født i Canton i staten New York, og tilbragte sin barndom der med jakt og hesteridning. Han begynte også å tegne fantasifigurer. Familien flyttet senere til Ogdensburg i samme delstat.