In Vancouver verbrachte der Abwehrspieler fast genau drei Jahre bis zum Januar 1980, ehe ihn die Philadelphia Flyers von den Canucks zurückkauften. In Philadelphia verblieb der Kanadier allerdings nur zehn Monate, da er bereits im November 1980 gemeinsam mit Norm Barnes zu den Hartford Whalers geschickt wurde. Den Whalers waren den beiden Spielern ein Zweitrunden-Wahlrecht im NHL Entry Draft 1982 im Austausch wert. Mit den Flyers hatte in den Stanley-Cup-Playoffs 1980 erneut die Finalserie erreicht. In Diensten Hartfords beendete McIlhargey am Ende der &lt;a href="NHL%201981/82"&gt;Saison 1981/82&lt;/a&gt; im Alter von 30 Jahren seine aktive Karriere.