Duchovny ble født i New York, som sønn av Margaret «Meg» (født Miller), en skoleadministrator, og Amram Ducovny , en forfatter og publisist Hans far var jødisk og hans mor var en luthersk immigrant fra Skottland. Duchovny sine søsken er Daniel Duchovny og Laurie Duchovny. Han gikk på The Collegiate School for gutter i Manhattan og gikk ut med eksamen fra Princeton University. Han har også en Master's degree i engelsk literatur fra Yale University og begynte å arbeide på en doktorgrad som fortsatt ikke er ferdig. Ved Princeton var Duchovny et medlem av Princeton Charter Club, en av universitetets spiseklubber, der overklassemenn inntok sine måltider. Tittelen på hans hovedoppgave var (1982).