Faits : A. En 2009, D._ et E._ sont devenus par succession propriétaires chacun d'un immeuble à Lausanne; les deux immeubles sont contigus et comptent quinze, respectivement dix appartements de grandeurs différentes. B._, C._ ainsi que les époux H.A._ et F.A._ sont locataires d'appartements de cinq pièces au 3ème ou au 4ème étage de l'un ou l'autre de ces immeubles; ils occupent ces logements respectivement depuis 1973, 1974 et 2004. Par formules officielles du 19 mai 2010, les bailleurs ont résilié les trois baux pour le 1er octobre 2010; le motif indiqué était: "rénovation, transformation, restructuration"; les autres baux des 3ème, 4ème et 5ème étages ont été résiliés avec la même motivation. Quelques jours plus tard, le gérant des immeubles a confirmé les congés "pour des raisons de restructuration de l'étage"; il a proposé aux locataires concernés une prolongation maximale des baux jusqu'au 1er octobre 2012 pour leur permettre de se reloger. B. H.A._, F.A._, B._ et C._ ont saisi la Commission de conciliation en matière de baux à loyer de la Préfecture de Lausanne; ils concluaient à l'annulation des congés, subsidiairement à une prolongation des baux d'une durée supérieure à celle proposée par les bailleurs. Après avoir constaté l'échec de la conciliation, la Commission de conciliation a annulé les congés par décisions des 21 et 22 décembre 2010. D._ et E._ ont alors déposé auprès du Tribunal des baux du canton de Vaud trois requêtes, qui ont été jointes; ils concluaient à ce qu'il soit dit que les congés étaient valables et à ce qu'il soit octroyé aux locataires une unique prolongation des baux, venant à échéance le 1er octobre 2012. Par jugement du 14 novembre 2011, le Tribunal des baux a annulé les trois congés. Les bailleurs ont interjeté appel. Par arrêt du 6 septembre 2013, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a admis l'appel, constaté la validité des trois congés et accordé aux locataires une prolongation unique de leurs baux jusqu'au 1er octobre 2014. Elle a notamment retenu que les bailleurs avaient la volonté réelle de rénover et transformer leurs immeubles, que les travaux projetés avaient, avec une réserve, obtenu en 2013 un préavis favorable du Service cantonal de l'écologie, du logement et du tourisme (SELT) et que le remplacement des ascenseurs, installations électriques, canalisations, installations sanitaires et système de chauffage était justifié au vu de l'état des bâtiments. Elle en a déduit que les congés n'étaient pas abusifs. C. Les locataires (recourants) interjettent un recours en matière civile. Ils concluent principalement à l'annulation des congés. A titre subsidiaire, ils demandent au Tribunal fédéral d'annuler l'arrêt cantonal et de renvoyer la cause à la Cour d'appel civile pour nouvelle décision dans le sens des considérants. Dans leur réponse, les bailleurs (intimés) proposent le rejet du recours dans la mesure où il est recevable. Par la suite, les recourants ont déposé des observations, suivies d'une ultime détermination des intimés. Dans ce cadre, les locataires requièrent la suspension de la présente procédure jusqu'à la décision sur le permis de construire; les bailleurs s'opposent à cette requête. Pour sa part, la cour cantonale se réfère aux considérants de son arrêt.