Ekteparet fikk to døtre, Elizabeth i 1926 og Margaret i 1930. Familien på fire levde et beskyttet liv på eiendommen 145 Picadilly i London. Familien opplevde få offentlige problemer, men det vakte oppsikt da statsministeren i Canada foreslo hertugen som generalguvernør av Canada i 1931, et forslag kongen til slutt takket nei til etter råd fra sine ministre.