德华开始和一些已婚女子发生恋情，包括弗丽达·达德利·沃德、佛奈斯侯爵夫人及华里丝·辛普森。辛普森夫人已两度结婚，当时甚至还有丈夫恩尼斯特·辛普森。爱德华跟辛普森夫人的关系令他和其父乔治五世的关系僵化。爱德华的父母均不肯接受辛普森夫人，其弟约克公爵艾伯特王子非但不想乘机问鼎圣爱德华宝座，还极力劝请爱德华另觅佳配，很有影响力的英国国教教会领袖们也表示反对。可是，爱德华和辛普森夫人的关系不为这些事所影响，在众人的压力下，他决定退位，并让位给其弟乔治六世。这件事情使得温莎公爵获得了一句非常响亮的成语：「不爱