I tidlig alder interesserte Hartley seg for maling og gikk på Massachusetts College of Art i Boston. Mens han studerte der deltok han på kurs i filmproduksjon og innså at det var dette han ville holde på med. Han flyttet tilbake til New York i 1980 og ble tatt opp til filmproduksjonsprogrammet ved SUNY. Han møtte der en gruppe teknikere og skuespillere som flere år senere kom til å arbeide med ham på filmene hans.