Faits: A. Le 31 août 2006, C._, D._ et E._, en qualité de cessionnaires des droits de la masse en faillite de X._ SA, ont saisi la Cour civile du Tribunal cantonal vaudois d'une demande tendant au paiement, par A._ et B._, du montant de 500'000 fr. avec intérêts. En substance, ils soutenaient que ces derniers, administrateurs de la société, avaient tardé à donner l'avis au juge selon l'art. 725 CO et ainsi causé un dommage, les dettes de la société ayant augmenté durant leur période d'inaction fautive. Dans le délai de réponse, A._ et B._ ont requis l'appel en cause de huit personnes dont F._, qui avaient été administrateurs de X._ SA jusqu'au 21 janvier 2004, sauf F._ qui l'avait été jusqu'à la faillite le 8 novembre 2004. Ils entendaient conclure à ce que ces huit personnes soient tenues de les relever de toute condamnation en capital, intérêts, frais et dépens, qui pourrait être prononcée contre eux ensuite de l'action ouverte par C._, D._ et E._, alternativement à ce qu'elles soient condamnées à leur payer la somme de 500'000 fr. avec intérêts. Par jugement incident du 15 juin 2007, le Juge instructeur de la Cour civile a rejeté la requête d'appel en cause. Saisie par A._ et B._ et statuant par arrêt du 29 octobre 2007, la Chambre des recours du Tribunal cantonal vaudois a rejeté le recours et confirmé le jugement incident. En résumé, elle a retenu que le dommage dont la réparation était demandée par C._, D._ et E._ avait été causé entre le 31 mai 2004 et la faillite en novembre 2004, période durant laquelle sept des appelés en cause n'étaient plus administrateurs; elle a en outre considéré que l'attrait de huit personnes supplémentaires entraînerait une complication excessive du procès. Pour ce qui concernait l'appel en cause de F._, les juges cantonaux ont relevé que dans leur requête, A._ et B._ n'avaient pas invoqué de motifs spécifiques à son encontre et lui reprochaient uniquement des agissements au début de 2004; ils n'ont pas tenu compte de nouveaux reproches, relatifs à un comportement ultérieur, dès lors que ceux-ci avaient été formulés en cours de procédure de recours seulement. B. A._ et B._ (les recourants) interjettent un « recours constitutionnel subsidiaire » au Tribunal fédéral. Contestant l'arrêt attaqué uniquement dans la mesure où il rejette l'appel en cause de F._, ils concluent à son annulation et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants, avec suite de frais et dépens. Ils présentent également une requête d'effet suspensif, qui a été accordé par ordonnance présidentielle du 28 janvier 2008. F._ (l'intimé F._) propose le rejet du recours, sous suite de frais et dépens.