Våren 1980 dro han og Sean på ferie til Bermuda, mens Yoko Ono ble igjen i New York og ordnet forretninger. I Bermuda oppdaget han en fresia, en blomst i sverdliljefamilien, med navn «Double Fantasy». Lennon mente at det oppsummerte forholdet til Yoko, eller når to mennesker forestiller seg samme bilde samtidig. Lennon bestemte seg der og da for å gjenoppta sangkarrieren. Lennon startet å skrive igjen, og da han kom hjem, begynte han på albumet sitt. Han beskrev selv prosessen som fem år med tenking og så et kreativt utbrudd på tre uker. Albumet ble laget slik at de to sang omtrent annenhver sang (John sang to på rad i midten – «Beautiful Boy» og «Watching the Wheels» og Yoko Ono sang to på slutten «Every Man has a Woman who Loves Him» og «Hard times are Over»). I et intervju med fremsto Lennon som avslappet og reflektert, ferdig med å bry seg om kritikere og med gode håp for fremtiden, om enn han ikke hadde noen pretensjoner om å komme tilbake igjen og dominere musikken. Den første sangen fra albumet, «(Just Like) Starting Over», ble gitt ut som single. Den ble sluppet 20. oktober 1980, og nådde åttendeplass i Storbritannia og tredjeplass i USA før andre uken i desember.