Willoch var født i Alversund, og var sønn av presten Christian Abel Isaachsen, barnebarn av Isaach Isaachsen. Han var fetteren til Odd Isaachsen Willoch. Han flyttet med familien til Uranienborg i Oslo, og bodde senere i Bærum.