In 1939, several months before the fall of France, the couple moved to the United States with Gardiner's daughter from a previous marriage, Connie, whom Joseph later adopted.
Pada 1939, beberapa bulan sebelum jatuhnya Prancis, pasangan tersebut berpindah ke Amerika Serikat bersama dengan putri Gardiner dari pernikahan sebelumnya, Connie, yang Joseph kemudian adopsi.