Nach insgesamt zehn Jahren in Diensten der Flyers strukturierten diese ihr Team im Sommer 1980 neu, wodurch Kelly im Tausch für ein Drittrunden-Wahlrecht im NHL Entry Draft 1982 an die Washington Capitals abgegeben wurde. Beim Hauptstadtklub verbrachte der Kanadier eine für ihn erfolgreiche &lt;a href="NHL%201980/81"&gt;Spielzeit 1980/81&lt;/a&gt;, in der er an der Seite von Dennis Maruk und Mike Gartner mit 26 Toren, 36 Vorlagen und 62 Scorerpunkten jeweils Karrierebestwerte aufstellte. Umso enttäuschender verlief sein zweites Jahr bei den Capitals mit lediglich vier Punkten in 16 Saisoneinsätzen, nachdem es vor der Saison sowohl Wechsel auf den Posten des Cheftrainers als auch General Managers gegeben hatte. Daraufhin kündigte Kelly im Sommer 1982 im Alter von 31 Jahren den laufenden Vertrag und gab seinen sofortigen Rückzug aus dem aktiven Profisport bekannt.