I 1937 besøkte paret Tyskland som gjester av Adolf Hitler, noe som førte til mistanker om at Simpson var en tysk agent og nazistsympatisør. Under krigen flyttet paret til Lisboa og så til Bahamas der Edvard ble guvernør. Etter andre verdenskrig flyttet de tilbake til Frankrike og bodde mesteparten av tiden i Neuilly-sur-Seine.