Pidgeon giftet seg to ganger. I 1919 giftet han seg med Edna (Muriel) Pickles, som døde allerede i 1921, under fødselen av deres datter, som også fikk navnet Edna. I 1931 giftet Pidgeon seg med sin daværende sekretær, Ruth Walker, som han var gift med frem til sin død. De hadde ingen barn sammen.