Isaac Davis (Woody Allen) har nettopp blitt forlatt av kona Jill (Meryl Streep) for en annen kvinne. Han begynner deretter et forhold med 17 år gamle Tracy (Mariel Hemingway). Isaacs bestevenn Yale Pollack (Michael Murphy) har en affære med journalisten Mary (Diane Keaton). Han elsker både kona Emily (Anne Byrne) og Mary, men bestemmer seg for å gjøre det slutt med Mary. Isaac og Mary blir sammen, men Mary og Yale fortsetter å treffe hverandre.