I 1930 ga Georg V sin sønn slottet Fort Belvedere i Windsor Great Park. Her hadde han affærer med en rekke gifte kvinner, blant dem var tekstilarvingen Freda Dudley Ward og Lady Furness, den amerikanske kona til en britisk adelsmann. Det var Lady Furness som introduserte prinsen for sin venninne, amerikaneren Wallis Simpson. Simpson hadde blitt skilt fra sin første ektemann i 1927, og hennes andre ektemann Ernest Simpson, var en britisk-amerikansk forretningsmann. Det er antatt at Wallis og prinsen ble elskere da Lady Furness var på utenlandsreise, selv om Edvard var urokkelig da han forklarte for sin far at det ikke var snakk om et intimt forhold og at hun ikke var å anse som hans elskerinne. Edvards forhold til Simpson svekket det allerede dårlige forholdet til faren. Selv om kongeparet hadde møtt Simpson på Buckingham Palace i 1935, ville de ikke ta i mot henne senere. Edvards forhold til en fraskilt amerikansk kvinne førte til så store bekymringer at paret ble fulgt av politifolk fra Special Branch, som skulle undersøke av hvilket format forholdet deres var. En rapport beskriver et besøk paret hadde i en antikkforretning. Eieren av butikken skal senere ha bemerket at Mrs. Simpson tvinnet prinsen rundt lillefingeren sin. Tanken på at en fraskilt kvinne med en tvilsom fortid utøvde så stor påvirkning på arveprinsen førte til store bekymringer for myndighetene.