Willoch vokste opp på Nanset. Han var sønn av sjefingeniør Einar Isaachsen Willoch og hustru Hanna, født Isaachsen (moren Hanna var datter av sin manns eldre bror, Isak Tobias Isaachsen). Willochs farfar var politikeren Isaach Isaachsen. Han var nevø av maleren Olaf Isaachsen samt fetter av maleren Herman Willoch og vitenskapsmannen Haakon Isaachsen. Hans brødre Håkon og Gunnar var også offiserer i tjeneste da Norge ble invadert.