Faits: A. En 1997, les époux X._ ont pris à bail un appartement de sept pièces sis dans un immeuble à Genève, ainsi qu'une place de parc dans un garage souterrain attenant. Le 4 octobre 2002, Y._ a été inscrit au registre foncier comme nouveau propriétaire de l'immeuble. Le 17 octobre 2002, il a résilié les baux pour le 31 août 2003. Les locataires ont contesté la validité de la résiliation. Le Tribunal des baux et loyers du canton de Genève a déclaré les congés valables et accordé aux locataires une première prolongation des baux jusqu'au 31 août 2005. Sur appel des deux parties, la Chambre d'appel en matière de baux et loyers du canton de Genève a confirmé la validité des congés et octroyé aux locataires une prolongation unique des baux jusqu'au 31 décembre 2004. Par arrêt du 9 mars 2005, le Tribunal fédéral a rejeté dans la mesure de sa recevabilité le recours en réforme interjeté par les locataires (cause 4C.425/2004). B. Comme les locataires n'avaient pas libéré les locaux, le bailleur a demandé leur évacuation par requête du 17 mai 2005, déposée devant la Commission genevoise de conciliation en matière de baux et loyers. La conciliation a échoué et le bailleur a introduit une demande en évacuation auprès du Tribunal des baux et loyers. Devant cette autorité, les locataires ont invoqué le statut diplomatique de dame X._, haut fonctionnaire de l'Organisation mondiale de la santé (OMS). Dans son jugement du 28 mars 2006, le Tribunal des baux et loyers a admis que les locataires étaient, en principe, au bénéfice d'une immunité de juridiction civile. Il a relevé toutefois que l'immunité de dame X._ avait été levée par décision du 22 décembre 2005 prise par le Directeur général de l'OMS. Le tribunal a jugé que cette circonstance, intervenue en cours d'instance, permettait de reconnaître la recevabilité de la requête en évacuation. Comme ils ne disposaient plus d'aucun titre juridique les autorisant à rester dans les locaux, les époux X._ ont été condamnés à évacuer l'appartement immédiatement. Sur appel des locataires, la Chambre d'appel a annulé le jugement de première instance et débouté le bailleur de ses conclusions, au motif que le tribunal n'était pas compétent au moment où les locataires ont été assignés, ceux-ci bénéficiant alors encore de l'immunité de juridiction. Le bailleur a recouru au Tribunal fédéral. Par arrêt du 22 juin 2007 (cause 4A_107/2007), la cour de céans a jugé déterminant le fait que, au moment où les premiers juges avaient statué, le pouvoir de juridiction sur les locataires était réalisé. En conséquence, l'arrêt de la Chambre d'appel a été annulé et la cause a été renvoyée à la cour cantonale pour qu'elle se prononce sur la demande d'évacuation (ATF 133 III 539). La Chambre d'appel a tenu son audience de reprise le 8 octobre 2007. A cette occasion, les époux X._ ont sollicité de pouvoir s'exprimer par écrit. Dans leurs conclusions écrites du 24 octobre 2007, ils demandaient, principalement, le renvoi de la cause au Tribunal des baux et loyers pour instruction au fond et, subsidiairement, la fixation d'un délai pour se déterminer sur le fond; plus subsidiairement, ils concluaient à ce que le bailleur soit débouté de toutes ses conclusions au fond. Seule la conclusion principale était motivée; les anciens locataires soutenaient qu'à défaut d'un renvoi en première instance, il leur serait imposé une justice à deux échelons au lieu de trois. Ils ne se sont pas déterminés sur le fond de la cause, soit sur l'évacuation elle-même. Pour sa part, Y._ a conclu, par mémoire du 31 octobre 2007, à ce que les époux X._ soient condamnés à évacuer immédiatement l'appartement et la place de parc. La cause a été plaidée le 5 novembre 2007; elle a été gardée à juger à l'issue de l'audience. Par arrêt du 4 février 2008, la Chambre d'appel a confirmé le jugement rendu le 28 mars 2006 par le Tribunal des baux et loyers, qui ordonnait l'évacuation immédiate des locaux. La Chambre d'appel a motivé le rejet des conclusions principale et subsidiaires par le fait que les locataires avaient renoncé à se prononcer sur l'évacuation elle-même devant le Tribunal des baux et loyers, qui les avait pourtant invités à le faire par ordonnance du 20 septembre 2005, puis devant la Chambre d'appel, alors qu'ils avaient eu par deux fois la possibilité de prendre position sur le fond, soit dans leur acte d'appel et dans leurs conclusions écrites après le renvoi de la cause à l'autorité cantonale. C. Les époux X._ interjettent un recours en matière civile. Ils concluent à l'annulation de l'arrêt du 4 février 2008, puis, principalement, au renvoi de la cause à la Chambre d'appel et, subsidiairement, à ce que Y._ soit débouté de ses conclusions en évacuation. Y._ propose le rejet du recours et la confirmation de l'arrêt attaqué.