Faits: A. C._ est propriétaire de la parcelle n° 141 du registre foncier de Rolle. Cette parcelle étroite s'étend entre la Grand Rue et le lac. Elle est constituée, comme les bien-fonds voisins, d'une maison d'habitation implantée en bordure de la Grand Rue et d'un jardin s'étirant jusqu'au quai public. Elle supporte le bâtiment n° 17, qui occupe toute la largeur du terrain et qui est contigu aux bâtiments construits sur les parcelles voisines. Un projet de transformation du bâtiment n° 17 a été mis à l'enquête publique du 12 septembre au 22 octobre 2007. Il prévoit un agrandissement du bâtiment côté lac et la construction d'une nouvelle toiture, plus haute que la toiture existante. Ce projet a suscité l'opposition de A._ et B._, propriétaires de la parcelle voisine n° 140, qui supporte le bâtiment n° 16. Les opposants faisaient notamment valoir que le projet n'était pas conforme aux art. 3 et 7 du règlement communal sur le plan d'affectation du centre ancien (ci-après: le règlement communal) et que le rehaussement du bâtiment porterait atteinte "au peu de lumière créé [...] dans leur immeuble". Par décision du 23 novembre 2007, la Municipalité de Rolle a levé l'opposition et délivré le permis de construire requis. B. A._ et B._ ont recouru contre cette décision auprès du Tribunal cantonal du canton de Vaud, Cour de droit administratif et public (ci-après: le Tribunal cantonal), qui a rejeté leur recours par arrêt du 18 août 2009. En substance, cette autorité a considéré que le projet litigieux était conforme au règlement communal. Contrairement à ce qu'alléguaient les recourants, l'art. 3 al. 2 n'excluait pas l'agrandissement de constructions existantes. De plus, les règles sur la longueur des murs mitoyens (art. 5), la pente du toit (art. 3 al. 9) et la largeur des lucarnes (art. 7 al. 3) étaient respectées. C. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral de réformer cet arrêt en ce sens que leur opposition au projet litigieux est définitivement maintenue, subsidiairement d'annuler cet arrêt et de renvoyer la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Ils se plaignent d'une constatation manifestement inexacte des faits (art. 105 al. 2 LTF), d'une application arbitraire du règlement communal (art. 9 Cst.) et d'une violation de leur droit d'être entendus (art. 29 al. 2 Cst.). Ils requièrent en outre l'octroi de l'effet suspensif. Au terme de leurs observations, C._ et la Commune de Rolle concluent au rejet du recours, dans la mesure de sa recevabilité. Le Tribunal cantonal conclut au rejet du recours, en se référant aux considérants de l'arrêt attaqué. Quant au Service Immeubles, Patrimoine et Logistique du canton de Vaud, il s'est déterminé hors du délai imparti. D. Par ordonnance du 14 octobre 2009, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif.