Kahn tuvo tres familias con tres mujeres diferentes: con su esposa Esther, con su compañera de trabajo la arquitecta Anne Tyng y con la paisajista Harriet Pattison.