Amy Irving ble født i Palo Alto i California. Faren var film- og teaterregissøren Jules Irving (født Jules Israel) og moren er skuespilleren Priscilla Pointer. Broren er manusforfatteren og regissøren David Irving (må ikke forveksles med forfatteren David Irving) og søsteren er sangeren og barnedøvelæreren Katie Irving. Irvings far var jødisk; det var også hennes tippolderfar på morsiden. I oppveksten ble Irving lært opp i den kristne trosretningen kalt Christian Science, og familien har ingen religiøse tradisjoner.