Faits:
A. Le 19 juin 1996, A._ et sa soeur E._ ont octroyé aux époux D.C._, ........ , et C.C._, ........ , un bail renouvelable d'année en année sur une villa sise à Lausanne. Le 18 juin 2004, ils ont résilié le bail, au motif que E._ voulait s'installer dans la villa. Les locataires ont saisi l'autorité de conciliation; la procédure a été suspendue. Finalement, les propriétaires ont annulé la résiliation par courrier du 30 août 2007. L'autorité de conciliation a classé la cause.
Le 13 février 2008, les propriétaires ont résilié le bail sur formule officielle pour le 30 septembre 2008, sans indiquer de motif. Les locataires ont derechef saisi l'autorité de conciliation d'une requête en annulation de congé, subsidiairement en prolongation de bail. L'autorité de conciliation a annulé le congé.
Par demande du 16 octobre 2008, les propriétaires ont alors ouvert action devant le Tribunal des baux. Ils concluaient à ce que la résiliation soit déclarée valable, à ce qu'aucune prolongation de bail ne soit accordée et à ce qu'ordre soit donné aux locataires de quitter la chose louée au plus tard le 30 septembre 2008.
Le 9 avril 2009, les propriétaires ont déposé une demande de permis de construire pour la démolition de la villa louée et la construction de deux immeubles avec quatre appartements et six places de parc extérieures. Le permis a été accordé le 29 juillet 2009 pour une durée de deux ans.
Le 14 septembre 2009, le Tribunal des baux a été informé de ce que E._ avait cédé sa part de copropriété sur la chose louée à sa nièce B._. Le président du Tribunal a prononcé que cette dernière prenait la place de E._ dans le procès pendant.
Retenant un besoin personnel et urgent du copropriétaire A._, né en 1937, qui voulait quitter la maison trop grande qu'il occupait pour s'installer dans l'un des appartements à construire, le Tribunal des baux, par jugement du 30 novembre 2009, a dit que la résiliation du bail était valable. Il a accordé aux locataires une seule et unique prolongation de bail jusqu'au 30 juin 2011.
Les locataires ont déféré ce jugement à la Chambre des recours du Tribunal cantonal, concluant à ce que la résiliation de bail soit annulée. Les bailleurs ont conclu au rejet. Statuant par arrêt du 15 décembre 2010 envoyé aux parties le 28 avril 2011, la Chambre des recours a admis le recours et annulé la résiliation de bail notifiée le 13 février 2008.
La Chambre a retenu ce qui suit: La résiliation n'a tout d'abord pas été motivée. Un motif de résiliation a été énoncé pour la première fois dans la demande en justice du 16 octobre 2008 adressée au Tribunal des baux. Les propriétaires y expliquent avoir donné le congé en raison d'un projet de démolition de la villa existante et de construction de deux bâtiments résidentiels, projet rendant impossibles la poursuite des rapports de bail et une prolongation du contrat; ils citent certes aussi l'<ref-law>, mais ne font pas explicitement mention d'un besoin personnel et ne démontrent pas que tel serait le cas et pour qui. La volonté de l'un des propriétaires d'occuper personnellement l'un des nouveaux bâtiments ne ressort que de l'audition de témoins entendus le 9 novembre 2009 avant la clôture des débats en première instance. Présenté tardivement et sans explication pour le retard, le motif du besoin personnel est douteux et rien ne s'oppose à retenir l'interprétation des locataires, selon laquelle le congé litigieux est en réalité un congé-rénovation préventif, suivi d'un second congé pour besoin propre. Or, un congé-rénovation ne peut pas être signifié tant que les locataires bénéficient d'une période de protection (art. 271a al. 1 let. e et al. 3 CO).
B. Les bailleurs (ci-après: les recourants) interjettent un recours en matière civile auprès du Tribunal fédéral. Ils concluent principalement à la réforme de l'arrêt attaqué en ce sens que le recours cantonal des locataires (ci-après: les intimés) est rejeté et que le jugement rendu le 30 novembre 2009 par le Tribunal des baux est confirmé. Dans leur réponse, les intimés concluent au rejet du présent recours. L'autorité précédente se réfère à son arrêt.
La réponse a été communiquée aux recourants avec l'avis qu'aucun échange d'écritures supplémentaire n'était ordonné et que d'éventuelles observations devaient être déposées jusqu'au 7 octobre 2011. Ce jour-là, les recourants ont requis une prolongation de délai d'un mois. Les intimés s'y sont opposés et la présidente de la cour de céans a répondu aux recourants qu'une prolongation de ce délai était exclue. Les recourants ont alors écrit une nouvelle fois pour contester l'avis de la présidente et solliciter la possibilité de déposer des observations complémentaires jusqu'au 31 octobre 2011; à cette date, ils n'avaient pas procédé.

Considérant en droit:
1. L'échange d'écritures dans la procédure de recours devant le Tribunal fédéral est régi par l'<ref-law>. Selon cette disposition, le mémoire de recours est, si nécessaire, communiqué à l'autorité précédente et aux autres parties avec un délai pour se déterminer (<ref-law>), et il n'est en règle générale pas ordonné d'échange ultérieur d'écritures (<ref-law>). En application de ces règles, une réplique n'est ordonnée que si un élément nouveau susceptible d'influer sur le sort de la procédure ressort des déterminations déposées par l'autorité précédente ou les parties intimées.
Toutefois, selon la jurisprudence de la Cour Européenne des Droits de l'Homme, le droit à un procès équitable au sens de l'art. 6 CEDH comprend le droit des parties de se déterminer, dans la mesure où elles le souhaitent, sur toutes les pièces et observations soumises au juge, sans égard au fait qu'elles contiennent de nouvelles allégations de fait ou de nouveaux arguments de droit ou qu'elles soient concrètement susceptibles d'influer sur le jugement; selon la Cour, il appartient aux seules parties de déterminer si un document nécessite un commentaire (cf. <ref-ruling> consid. 4.3). Pour tenir compte de cette jurisprudence, le Tribunal fédéral a adapté sa façon de procéder dans le sens qu'à réception d'un mémoire qui, à son avis, n'appelle pas de déterminations de la part des autres parties, il sursoit à statuer afin de permettre à celles-ci de néanmoins déposer des observations si elles le jugent nécessaire et ne rend son arrêt qu'après l'écoulement d'un laps de temps suffisant pour admettre que ces parties ont renoncé à présenter un mémoire supplémentaire; le Tribunal fédéral a bien précisé que pour des motifs de célérité de la procédure, la partie qui voulait déposer des observations devait procéder rapidement et sans préalablement demander à ce qu'un délai lui soit fixé à cet effet (<ref-ruling> consid. 3.3.4; <ref-ruling> consid. 2.2). Ultérieurement, dans le but de lever l'incertitude sur le moment où il pouvait statuer, le Tribunal fédéral a décidé de préciser le délai pendant lequel les parties pouvaient, de leur propre chef, déposer des observations. En procédant de la sorte, le Tribunal fédéral ne fixe pas un délai pour déposer un acte; il précise uniquement jusqu'à quelle date il sursoit à statuer dans le sens de la jurisprudence précitée. Il ne s'agit pas d'un délai fixé à une partie pour procéder à un acte, prolongeable s'il existe un motif suffisant (cf. <ref-law>).
Quoi qu'il en soit, les recourants ont dans leur seconde demande requis une prolongation de délai jusqu'au 31 octobre 2011. Il suffit en l'espèce de constater qu'ils n'ont pas déposé de mémoire dans ce délai, ce alors que la jurisprudence publiée précise clairement que celui qui veut déposer une écriture de son propre chef doit agir rapidement et sans préalablement demander à ce qu'il lui soit fixé un délai à cet effet. Les recourants n'ayant pas agi dans le délai qu'ils avaient eux-mêmes articulé, leur droit à déposer des observations supplémentaires est de toute façon périmé.
2. Le recours doit être succinctement motivé (<ref-law>), ce qui suppose que le recourant discute au moins brièvement les considérants de l'arrêt attaqué (<ref-ruling> consid. 2.1); cette exigence est une condition de recevabilité (cf. <ref-law>). Le Tribunal fédéral n'examine donc en principe que des griefs motivés (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.2). La règle est absolue pour les griefs constitutionnels qui doivent être expressément invoqués et motivés (<ref-law>); pour ces griefs, l'acte de recours doit, sous peine d'irrecevabilité, nécessairement contenir un exposé succinct des droits ou principes constitutionnels violés et exposer de manière claire et circonstanciée en quoi consiste leur violation (<ref-ruling> consid. 3.2).
En outre, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>); en tant que cour suprême, il est instance de révision du droit. Il peut certes rectifier ou compléter les faits s'ils ont été établis de façon manifestement inexacte, notion qui correspond à l'arbitraire, ou en violation du droit au sens de l'<ref-law>, ce pour autant que la correction soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 et art. 105 al. 2 LTF). Cette exception à la règle selon laquelle le Tribunal fédéral ne revoit pas les faits ne permet toutefois pas aux parties de rediscuter dans leurs mémoires les faits de la cause comme si elles plaidaient devant un juge d'appel. La partie recourante qui entend faire rectifier ou compléter un fait doit expliquer de manière circonstanciée en quoi les conditions pour le faire seraient réalisées (<ref-ruling> consid. 6.2); dans la mesure où le grief a trait au caractère arbitraire de l'établissement des faits ou à l'application anticonstitutionnelle du droit de procédure cantonal, les exigences de motivation sont celles, plus strictes, de l'<ref-law> (<ref-ruling> consid. 1.4.3 p. 255).
3. Les recourants invoquent uniquement une violation de l'art. 271a al. 3 let. a et de l'<ref-law> à l'encontre de l'annulation de la résiliation. Leur argumentation est toutefois essentiellement fondée sur un état de fait autre que celui retenu par l'autorité précédente et se rapporte plus à des questions de fait que de droit. La recevabilité d'un grief ainsi présenté est pour le moins discutable; cette question peut rester indécise, les critiques étant de toute façon injustifiées.
3.1 L'autorité cantonale a considéré qu'il y avait doute au sujet du motif du congé, qu'il fallait retenir que le congé litigieux était en réalité un "congé-rénovation préventif", pour reprendre ses termes, et que ce congé-rénovation avait été suivi d'un second congé pour besoin propre. Il s'agit là de constatations de fait.
Il est vrai que dans des remarques liminaires, l'autorité précédente avait précisé que les constatations de fait du juge de première instance étaient conformes aux pièces du dossier et aux autres preuves administrées. Les recourants croient pouvoir en déduire que la Chambre des recours aurait ainsi fait sienne la constatation du juge de première instance selon laquelle il était établi que le congé était motivé par un besoin personnel et urgent de l'un des propriétaires. Cette déduction est manifestement erronée. L'autorité précédente a discuté les motifs pour lesquels le congé avait été donné et, sans nier l'intention de l'un des bailleurs de s'installer dans les bâtiments à construire, elle a retenu que le congé avait été donné le 13 février 2008 non pas pour cause de besoin propre, mais pour permettre la démolition de la villa louée et la construction de nouveaux bâtiments. Le renvoi global auquel les recourants se réfèrent ne saurait donc avoir la portée qu'ils lui donnent.
Les recourants jouent en outre sur les mots lorsqu'ils reprochent à l'autorité précédente d'avoir retenu un congé-rénovation alors qu'ils n'avaient jamais eu l'intention de rénover la villa, mais entendaient la démolir pour construire à sa place deux bâtiments nouveaux.
Les recourants contestent aussi n'avoir invoqué un besoin personnel qu'à la fin de la procédure judiciaire de première instance. Ils affirment qu'ils en auraient parlé en audience de conciliation; le défaut de procès-verbal ne permet pas de le contrôler et ne signifie pas qu'il faut retenir leur version des faits. Ils relèvent en outre avoir fait référence à l'<ref-law> dans la demande introduite devant le juge de première instance, disposition qui précise qu'un congé signifié durant le délai de protection de trois ans suivant une procédure judiciaire est licite s'il est donné en raison d'un besoin urgent du bailleur d'utiliser lui-même la chose louée. L'autorité précédente n'a pas ignoré l'indication de cet article de loi, mais ne lui a pas prêté d'importance. Elle a relevé d'une part qu'aucun allégué de la demande ne faisait mention d'un besoin personnel ni à fortiori ne le précisait; en effet, l'allégué topique se limitait à dire que "les conditions de l'<ref-law> sont remplies". Elle a relevé d'autre part que les recourants invoquaient dans leur mémoire un projet de construction qu'ils entendaient réaliser au plus vite, en précisant que ce projet ne s'accommodait pas de la présence de locataires. L'autorité cantonale a ainsi estimé qu'il y avait doute quant au motif pour lequel les recourants avaient donné le congé le 13 février 2008. Au vu de ce qui précède, cette conclusion n'est pas insoutenable.
Le bailleur supporte le fardeau de la preuve de l'existence d'un motif de résiliation permettant de renverser la présomption selon laquelle un congé donné durant le délai de protection est abusif. En cas de doute, il y a donc lieu de trancher en défaveur du bailleur et de ne pas retenir l'existence d'un tel motif. L'arrêt attaqué ne prête pas à critique dans la mesure où il retient que le 13 février 2008, le congé a été donné en vue de pouvoir procéder à la démolition de la villa donnée en bail et construire de nouveaux bâtiments, et non pas en raison d'un besoin personnel d'habiter l'un des appartements à construire. Les recourants objectent que la procédure probatoire a permis d'établir la volonté réelle de l'un d'eux d'occuper l'immeuble; outre que la Chambre des recours a expliqué dans une motivation exempte d'arbitraire pour quelles raisons le besoin urgent ne pouvait être retenu, il n'apparaît pas que les recourants aient prouvé l'existence d'une telle volonté au moment même de la résiliation. Dans la mesure où les recourants soutiennent qu'ils ont simplement tardé à donner le motif de la résiliation, motif qui était dès le début le besoin propre, ils ne sauraient donc être suivis.
Pour le surplus, les recourants ne soulèvent pas d'autre critique recevable au sujet des faits retenus. L'état de fait ressortant de l'arrêt attaqué lie dès lors la cour de céans.
3.2 Le congé donné pour le 30 septembre 2008 est intervenu dans les trois ans à compter de la fin d'une procédure de conciliation dans laquelle les bailleurs avaient abandonné leurs conclusions; un tel congé est annulable (art. 271a al. 1 let. e ch. 2 CO), sauf si les bailleurs peuvent se prévaloir d'un motif permettant exceptionnellement de résilier le bail durant la période de protection. Ces motifs sont énumérés limitativement par la loi; le motif d'une rénovation ou reconstruction de la chose louée n'y figure pas (cf. <ref-law>). Un congé ne serait licite que si ces travaux s'imposaient de manière urgente à cause d'un état de la chose louée présentant un danger pour la santé ou l'intégrité physique des locataires, auquel cas un juste motif pourrait être retenu (art. 271a al. 3 let. e CO); en l'espèce, une telle urgence ne ressort toutefois pas de l'état de fait. Le congé donné le 13 février 2008 est donc annulable.
3.3 L'autorité précédente a retenu que les recourants avaient ultérieurement donné un second congé pour cause de besoin propre. Ce second congé n'a manifestement pas été notifié sur formule officielle; il est nul déjà pour ce motif (art. 266l al. 2 et art. 266o CO).
A supposer que les recourants n'aient pas donné un second congé, mais simplement changé leur motivation pour justifier le premier congé, le résultat n'en serait pas différent. Une résiliation intervenant durant la période de protection est licite si elle est prononcée pour un motif légalement admis. A défaut, elle ne l'est pas; se prévaloir a postériori d'un motif en soi licite qui n'a pas été le motif pour lequel on a agi au moment de donner le congé ne permet pas de valider ce congé avec effet rétroactif. Il faut distinguer entre le fait de donner le vrai motif tardivement et le fait d'invoquer après coup un autre motif (cf. PETER HIGI, Commentaire zurichois, 4e éd. 1996, n° 114 ss ad <ref-law>).
Quoi qu'il en soit, la jurisprudence a précisé, au sujet du besoin personnel du propriétaire d'occuper la chose donné à bail, que lorsque l'occupation des locaux dont il a besoin dépend d'une autorisation de transformer ou de démolir, les raisons sérieuses qu'il a à vouloir occuper lesdits locaux ne sont pas valables aussi longtemps qu'il n'a pas obtenu l'autorisation nécessaire (<ref-ruling> consid. 3 p. 166). En l'espèce, le permis de construire a été requis quatorze mois après la résiliation litigieuse et accordé dix-huit mois après celle-ci; on ne saurait donc retenir un besoin personnel d'occuper l'un des logements à construire au moment de la résiliation.
4. Les recourants se déterminent au sujet d'une éventuelle prolongation de bail pour le cas où la résiliation du bail serait déclarée valide. Ces considérations sont sans objet.
5. Les recourants succombent. Ils supportent solidairement les frais judiciaires et les dépens dus aux intimés, créanciers solidaires (art. 66 et 68 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis solidairement à la charge des recourants.
3. Les recourants verseront à titre solidaire le montant de 5'000 fr. aux intimés pour leurs dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 21 novembre 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Monti