Faits:
A. C._ est propriétaire de la parcelle n° 141 du registre foncier de Rolle. Cette parcelle étroite s'étend entre la Grand Rue et le lac. Elle est constituée, comme les bien-fonds voisins, d'une maison d'habitation implantée en bordure de la Grand Rue et d'un jardin s'étirant jusqu'au quai public. Elle supporte le bâtiment n° 17, qui occupe toute la largeur du terrain et qui est contigu aux bâtiments construits sur les parcelles voisines. Un projet de transformation du bâtiment n° 17 a été mis à l'enquête publique du 12 septembre au 22 octobre 2007. Il prévoit un agrandissement du bâtiment côté lac et la construction d'une nouvelle toiture, plus haute que la toiture existante.
Ce projet a suscité l'opposition de A._ et B._, propriétaires de la parcelle voisine n° 140, qui supporte le bâtiment n° 16. Les opposants faisaient notamment valoir que le projet n'était pas conforme aux art. 3 et 7 du règlement communal sur le plan d'affectation du centre ancien (ci-après: le règlement communal) et que le rehaussement du bâtiment porterait atteinte "au peu de lumière créé [...] dans leur immeuble". Par décision du 23 novembre 2007, la Municipalité de Rolle a levé l'opposition et délivré le permis de construire requis.
B. A._ et B._ ont recouru contre cette décision auprès du Tribunal cantonal du canton de Vaud, Cour de droit administratif et public (ci-après: le Tribunal cantonal), qui a rejeté leur recours par arrêt du 18 août 2009. En substance, cette autorité a considéré que le projet litigieux était conforme au règlement communal. Contrairement à ce qu'alléguaient les recourants, l'art. 3 al. 2 n'excluait pas l'agrandissement de constructions existantes. De plus, les règles sur la longueur des murs mitoyens (art. 5), la pente du toit (art. 3 al. 9) et la largeur des lucarnes (art. 7 al. 3) étaient respectées.
C. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral de réformer cet arrêt en ce sens que leur opposition au projet litigieux est définitivement maintenue, subsidiairement d'annuler cet arrêt et de renvoyer la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Ils se plaignent d'une constatation manifestement inexacte des faits (<ref-law>), d'une application arbitraire du règlement communal (art. 9 Cst.) et d'une violation de leur droit d'être entendus (art. 29 al. 2 Cst.). Ils requièrent en outre l'octroi de l'effet suspensif. Au terme de leurs observations, C._ et la Commune de Rolle concluent au rejet du recours, dans la mesure de sa recevabilité. Le Tribunal cantonal conclut au rejet du recours, en se référant aux considérants de l'arrêt attaqué. Quant au Service Immeubles, Patrimoine et Logistique du canton de Vaud, il s'est déterminé hors du délai imparti.
D. Par ordonnance du 14 octobre 2009, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif.

Considérant en droit:
1. Dirigé contre une décision rendue dans le domaine du droit public des constructions, le recours est recevable comme recours en matière de droit public conformément aux <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants ont pris part à la procédure de recours devant le Tribunal cantonal et sont particulièrement touchés par l'arrêt attaqué, qui confirme l'autorisation d'agrandir un bâtiment contigu au leur. Ils invoquent en outre des dispositions de droit des constructions susceptibles d'avoir une incidence sur leur situation de fait ou de droit, de sorte qu'ils ont la qualité pour agir au sens de l'<ref-law>. Pour le surplus, interjeté en temps utile et dans les formes requises contre une décision finale prise en dernière instance cantonale non susceptible de recours devant le Tribunal administratif fédéral, le recours est recevable au regard des art. 42, 86 al. 1 let. d, 90 et 100 al. 1 LTF.
2. A l'appui de leur écriture, les recourants déposent une nouvelle pièce, à savoir le plan de l'intérieur de leur maison. Selon eux, ce moyen de preuve devrait permettre au Tribunal fédéral de "se faire une meilleure idée des conséquences de la construction litigieuse", en particulier en ce qui concerne la cage d'escalier et le puits de lumière. Les recourants n'expliquent cependant pas pourquoi ils auraient été empêchés de déposer ce document devant l'instance précédente. La question de l'apport de lumière était au demeurant litigieuse depuis le début de la procédure, puisqu'elle constituait un des motifs de l'opposition des recourants au projet de l'intimé. On ne voit par ailleurs pas en quoi ce serait l'arrêt querellé qui imposerait pour la première fois le dépôt de ce plan, le "risque de confusion" entre la cage d'escaliers et le puits de lumière allégué par les recourants n'étant pas démontré. Au demeurant, si ces derniers estimaient que ce moyen de preuve était nécessaire pour une meilleure compréhension de la situation, il leur appartenait de le produire devant les instances précédentes. Cette pièce nouvelle est donc irrecevable (<ref-law>; <ref-ruling> consid. 3 p. 395).
3. A titre préliminaire, les recourants demandent au Tribunal de compléter l'état de fait de l'arrêt attaqué. Conformément à l'<ref-law>, le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente. L'<ref-law> lui permet cependant de rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>. Cette disposition vise en particulier la violation de l'interdiction constitutionnelle de l'arbitraire (<ref-law>; <ref-ruling> consid. 4.3 p. 62; Message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 p. 4135; pour une définition de l'arbitraire cf. <ref-ruling> consid. 3.1 p. 265 s.; <ref-ruling> consid. 3.1 p. 153). Il appartient au recourant de démontrer cette violation, par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law> (<ref-ruling> consid. 1.4.3 p. 254 s.). Une telle démonstration fait défaut en l'espèce. En effet, les recourants affirment que l'état de fait de l'arrêt attaqué ne tient pas compte de certaines pièces qu'ils avaient versées en cause, mais ils n'établissent pas que ces documents étaient d'une importance telle que cette omission doit être qualifiée d'arbitraire au sens de la jurisprudence susmentionnée. Au demeurant, les prétendues lacunes de l'état de fait n'apparaissent pas évidentes et on ne voit pas d'emblée en quoi les documents en question - une "expertise" privée et un article évoquant la valeur historique de leur bâtiment - seraient de nature à remettre en cause la solution retenue par le Tribunal cantonal. Dans ces conditions, il n'y a pas lieu de s'écarter des faits retenus dans la décision attaquée.
4. Les recourants se plaignent en substance d'une application arbitraire de diverses dispositions du règlement communal, à savoir essentiellement l'art. 3 en tant qu'il concerne les transformations de bâtiments existants et l'art. 5 relatif à la longueur des murs mitoyens.
4.1 Appelé à revoir l'interprétation d'une norme sous l'angle restreint de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (<ref-ruling> consid. 4.1 p. 133; <ref-ruling> consid. 5.1 p. 260 s. et les arrêts cités).
4.2 Intitulé "Architecture, matériaux, couleurs", l'art. 3 du règlement communal a la teneur suivante:
"[1] Les dispositions suivantes ont pour but de favoriser la conservation et, selon les cas, la restauration du caractère authentique du site bâti, tout en permettant des aménagements exigés par l'évolution des usages et des besoins.
[2] Les bâtiments existant ne peuvent être entretenus ou transformés que dans leurs implantations et leurs volumes actuels.
[3] En cas de reconstruction, le gabarit du nouveau bâtiment devra s'harmoniser avec l'environnement immédiat. Les isolations thermiques périphériques sont admises selon les normes.
[4] Les volumes disponibles seront utilisables dans la mesure où leur affectation n'entraîne pas une altération de l'ordonnance ou du décor des bâtiments.
[...]
[9] Les toits auront une pente comprise entre 60 et 85 %."
Quant à l'art. 5 du règlement, il est intitulé "Longueur des murs mitoyens" et prévoit ce qui suit:
"La longueur des murs mitoyens ou aveugles ne pourra pas être augmentée par rapport à ce que constate le plan actuel. Cependant, si elle est inférieure à 16 m., elle pourra être augmentée jusqu'à concurrence de cette longueur dans les périmètres A [...]."
4.3 Devant l'instance précédente, les recourants soutenaient que l'art. 3 al. 2 précité ne permettait pas d'agrandir un bâtiment existant. Le Tribunal cantonal considère cependant que cet alinéa doit se lire à la lumière d'autres passages du règlement, qui montreraient qu'une reconstruction ou un agrandissement sont possibles. Ainsi, l'art. 3 al. 4 (recte: 3 al. 3) mentionne que le nouveau bâtiment doit seulement s'harmoniser avec l'environnement immédiat, ce qui n'exclurait pas un agrandissement. De même, l'art. 2 al. 1 du règlement communal exige le dépôt de plans détaillés "pour toute reconstruction ou construction nouvelle ainsi que pour tout projet impliquant la modification du gabarit existant". Enfin, un agrandissement du bâtiment litigieux irait dans le sens de l'art. 3 al. 1 du règlement, qui vise à favoriser "la restauration du caractère authentique du site bâti". En effet, en se fondant sur l'avis de l'historien Bisseger, que le Service Immeubles, Patrimoine et Logistique du canton de Vaud a repris dans la procédure cantonale, le Tribunal cantonal a considéré que "la configuration du bâtiment actuel, avec sa grande terrasse encastrée entre les murs mitoyens borgnes, constitue une échancrure mal intégrée aux constructions voisines". Il en conclut que l'art. 3 du règlement n'interdit pas un agrandissement du bâtiment existant.
Les recourants s'en tiennent à une interprétation littérale de l'art. 3 al. 2 du règlement, mais ils ne démontrent pas en quoi l'interprétation du Tribunal cantonal serait manifestement insoutenable. Ils persistent à affirmer que le règlement interdit tout agrandissement des constructions existantes, en faisant fi des passages qui mentionnent la "modification du gabarit existant" (art. 2 al. 1) ou l'harmonisation du gabarit du nouveau bâtiment avec son environnement immédiat (art. 3 al. 3). De plus, contrairement à ce que semblent soutenir les recourants, les constatations de l'arrêt attaqué sur la conservation ou la restauration du caractère authentique du site bâti au sens de l'art. 3 al. 1 du règlement ne sont pas en contradiction manifeste avec les éléments du dossier. Il ressort en effet de la photographie ancienne produite par les recourants que le bâtiment occupant la parcelle des intimés était clairement plus grand que celui qui existe aujourd'hui. L'espace occupé par la terrasse actuelle, encastrée entre les murs mitoyens borgnes, était en effet bâti et le toit était plus haut, de sorte que "l'échancrure mal intégrée aux constructions voisines" constatée par les autorités cantonales n'existait pas. Il n'est donc pas déraisonnable de considérer que le projet litigieux s'approche plus du "caractère authentique du site bâti" que la situation qui prévaut actuellement. Même si le projet des intimés n'est pas identique au bâtiment initial et qu'il est apparemment un peu plus haut, cela ne suffit pas pour retenir que la solution des juges cantonaux est manifestement insoutenable ou arbitraire au sens de la jurisprudence susmentionnée.
4.4 Par ailleurs, l'arrêt attaqué expose de manière détaillée les raisons pour lesquelles l'art. 5 du règlement n'a pas pour effet de proscrire les murs mitoyens supérieurs à 16 m, mais bien de les limiter à "ce que constate le plan actuel". Sur ce point également, les recourants se limitent à présenter leur propre lecture - restrictive - de la norme en cause, sans aucunement démonter en quoi le Tribunal cantonal en aurait fait une interprétation arbitraire. Il ressort au demeurant des plans déposés que le projet litigieux ne fait que porter la longueur du mur de l'intimé à celle du mur des recourants, supprimant ainsi la partie borgne de celui-ci, de sorte qu'on ne voit pas d'emblée en quoi il constituerait une augmentation de la longueur des murs mitoyens ou aveugles par rapport à ce que constate le plan actuel. Quant à la question de la pente du toit, elle a été traitée en détail dans l'arrêt querellé, qui expose que ce point pouvait faire l'objet d'une dérogation. Les recourants se bornent à répéter que la pente n'est pas conforme à l'art. 3 al. 9 du règlement, sans remettre en cause de manière convaincante l'octroi de la dérogation. Ils peuvent donc être renvoyés sur ce point aux considérants de l'arrêt attaqué.
4.5 L'écriture de recours comporte en outre des développements sur "l'assombrissement du puits de lumière" des recourants. Ces considérations ne sauraient être rattachées aux dispositions réglementaires examinées ci-dessus, qui ne traitent pas de la luminosité ni d'éventuelles nuisances qu'il conviendrait d'éviter aux propriétaires voisins de la construction en cause. Par ailleurs, les recourants n'ont pas véritablement établi la perte de luminosité alléguée, alors qu'ils s'en plaignent depuis le début de la procédure. Même si le toit du projet litigieux est plus haut que celui des recourants au niveau de leur puits de lumière, cela ne signifie pas encore que celui-ci sera obstrué ou que l'apport de lumière sera réduit dans une mesure significative. Quoi qu'il en soit, les recourants n'expliquent pas en quoi le droit serait violé à cet égard, de sorte qu'on ne peut que constater qu'il ne s'agit pas d'un motif de recours recevable devant le Tribunal fédéral (cf. <ref-law>).
5. Enfin, les recourants invoquent une violation de leur droit d'être entendus, au motif que le Tribunal cantonal a écarté divers documents qu'ils avaient produits, sans expliquer les raisons pour lesquelles il a préféré ne pas en tenir compte et sans même les mentionner. Les documents en question sont une "expertise" privée émanant d'un architecte mandaté par les recourants ainsi que des "documents relatifs au caractère historique de leurs maisons et du puits de lumière". Le rapport de l'architecte tendrait à démontrer que le projet litigieux diffère de l'ancienne maison située à l'emplacement de la bâtisse à transformer. Quant aux "documents relatifs au caractère historique", ils confirmeraient le caractère essentiel du puits de lumière, construit en 1922. Compte tenu des considérants qui précèdent, ces pièces n'apparaissent pas décisives pour trancher l'objet du litige. Le Tribunal cantonal pouvait donc s'abstenir de les prendre en considération, sans pour autant violer le droit d'être entendus des recourants (cf. <ref-ruling> consid. 2.1 p. 429; <ref-ruling> consid. 6c/cc in fine p. 135; <ref-ruling> consid. 4a p. 211 et les arrêts cités).
6. Il s'ensuit que le recours doit être rejeté, dans la mesure de sa recevabilité. Les recourants, qui succombent, doivent supporter les frais de la présente procédure (<ref-law>). L'intimé, qui obtient gain de cause avec l'assistance d'un avocat, a droit à des dépens, à la charge des recourants (art. 68 al. 1 et 2 LTF). En revanche, il n'est pas alloué de dépens à la Commune de Rolle, la pratique qui prévalait en matière de recours de droit public et qui consistait à allouer des dépens aux collectivités ne disposant pas d'une infrastructure administrative et juridique suffisante pour procéder sans l'assistance d'un avocat ayant été abandonnée (<ref-law>; <ref-ruling> consid. 7 p. 119).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3. Une indemnité de 2'000 fr. est allouée à l'intimé à titre de dépens, à la charge des recourants.
4. Le présent arrêt est communiqué aux mandataires des parties et de la Commune de Rolle, ainsi qu'au Service Immeubles, Patrimoine et Logistique et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 11 février 2010
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Rittener