Harmon ble født i Burbank i California. Han er sønn av Tom Harmon, som hadde en karriere i amerikansk fotball, og skuespilleren Elyse Knox. Han har to eldre søstre som begge er skuespillere, Kristin Nelson og Kelly Harmon.