Remington studerte kunst ved Yale University, men var på denne tid mer interessert av amerikansk fotball og boksing enn av kunst. Etter at hans far døde flyttet han til Albany i staten New York.