Willoch giftet seg med Anne Marie Jørgensen (født 1929) i 1954. Hun er datter av orgelbygger Jørgensen.