Faits:
A. Le 12 juin 2006, B._ et A._ ont requis la démolition d'une remise et d'un local-citerne ainsi que l'autorisation de construire une maison familiale comprenant deux appartements sur la parcelle n° 9115 du registre foncier de la commune de Sierre. Ce bien-fonds est classé en "zone d'ensemble de valeur" au sens de l'art. 110 du règlement de construction et de zones de la commune de Sierre, homologué par le Conseil d'Etat du canton du Valais le 14 octobre 1998 (RCCZ). Se fondant sur un rapport de la sous-commission cantonale des sites, le Service cantonal des bâtiments, monuments et archéologie a préavisé négativement la maison projetée, jugeant la hauteur prévue (8 m 60) trop importante pour un projet à toit plat dans la zone précitée.
Le 13 février 2007, B._ et A._ ont déposé un projet modifié comportant un toit à deux pans à faible pente, avec abaissement de la hauteur de la corniche à 7 m 45 (ouest) et 7 m 95 (est). La sous-commission cantonale des sites et le Service cantonal des bâtiments, monuments et archéologie ont alors délivré un préavis positif. Soumis à l'enquête publique du 23 février au 5 mars 2007, ce projet a notamment suscité l'opposition d'X._ et de Y._, propriétaires de bien-fonds contigus, respectivement au sud (n° 8037) et au nord (n° 1323). Par décision du 3 avril 2007, la Ville de Sierre a délivré l'autorisation de construire sollicitée et levé les oppositions. Le Conseil d'Etat du canton du Valais (ci-après: le Conseil d'Etat) a rejeté les recours formés par X._ et Y._ contre cette décision, par arrêt unique du 20 mai 2008. Sur recours des intéressés, la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a confirmé cette décision, par arrêt du 14 novembre 2008. Elle a considéré en substance que les précédentes autorités n'avaient pas excédé leur pouvoir d'appréciation, en estimant que la construction projetée s'intégrait dans l'environnement bâti et respectait les prescriptions légales en matière de construction et d'aménagement du territoire.
B. Agissant par la voie du recours en matière de droit public, X._ et Y._ demandent au Tribunal fédéral d'annuler cet arrêt. Ils font valoir une intégration insuffisante aux constructions existantes et une voie d'accès inadaptée et non conforme à l'art. 19 de la loi fédérale sur l'aménagement du territoire du 22 juin 1979 (LAT; RS 700).
Le Tribunal cantonal a renoncé à se déterminer. Dans leurs observations, la Ville de Sierre et le Conseil d'Etat concluent au rejet du recours. A._ et B._ proposent également de le rejeter dans la mesure où il est recevable.
C. Par ordonnance du 30 janvier 2009, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif présentée par les recourants.

Considérant en droit:
1. Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public de l'aménagement du territoire et des constructions (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants ont pris part à la procédure de recours devant le Tribunal cantonal. En tant que propriétaires de parcelles directement voisines du projet, ils sont particulièrement touchés par l'arrêt attaqué confirmant l'octroi d'un permis de construire pour un projet de construction qu'ils tiennent en particulier pour non conforme à l'art. 19 LAT. Ils peuvent ainsi se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué. Ils ont dès lors qualité pour agir au sens de l'<ref-law>. Les autres conditions de recevabilité sont par ailleurs réunies, si bien qu'il y a lieu d'entrer en matière.
2. Dans un grief formel qu'il convient d'examiner en premier lieu, les recourants se plaignent d'une violation de leur droit d'être entendus en raison d'un défaut de motivation de l'arrêt attaqué. Ils soutiennent que le Tribunal cantonal n'aurait pas expliqué clairement en quoi le bâtiment litigieux s'intégrait harmonieusement au milieu bâti. Ils lui reprochent également de ne pas avoir pris position sur le contenu de l'avis d'un architecte mandaté par leurs soins et d'avoir ignoré leurs critiques relatives à la forme, à la ligne architecturale, au volume et à la toiture de l'édifice projeté.
2.1 La jurisprudence a déduit du droit d'être entendu (art. 29 al. 2 Cst.) l'obligation pour le juge de motiver ses décisions, afin que le justiciable puisse les comprendre et exercer ses droits de recours à bon escient. Le juge doit ainsi mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Il n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 4.1 p. 88 et les arrêts cités).
2.2 En l'espèce, la lecture de l'arrêt attaqué permet de comprendre sans difficulté les motifs qui ont fondé la décision du Tribunal cantonal. En effet, celui-ci a relevé que, conformément aux recommandations de la sous-commission cantonale des sites, la hauteur du bâtiment était semblable à celle des immeubles voisins, que son volume (864 m3) était inférieur à ceux des édifices voisins dont ceux des recourants (respectivement de 1540 m3, 1003 m3 et 936 m3). Il a précisé que l'effet visuel de "barre" produit par la longueur de la construction litigieuse apparaissait, à l'examen de la maquette versée au dossier, moindre que celui des pâtés de maisons sis à l'est et au sud-est. Les juges cantonaux ont de surcroît constaté que l'intégration de cette construction d'architecture certes contemporaine, mais avec un toit à double pan, des couvertures en tôles de cuivre et des murs en maçonnerie crépie était acceptable et ne détériorait pas l'image des lieux. Ils ont en outre considéré que si d'autres options architecturales étaient aussi défendables, voire subjectivement préférables, elles ne sauraient avoir pour effet de changer cette appréciation, de sorte qu'il n'y avait pas lieu de discuter les vues de l'architecte mandaté par les recourants. La motivation du Tribunal cantonal n'a d'ailleurs pas échappé aux recourants, qui sont précisément en mesure d'attaquer la décision sur ce point. Par conséquent, le grief de la violation du droit d'être entendu doit être rejeté.
3. Les recourants estiment qu'en raison de sa forme, de son volume, de sa toiture, de l'orientation de ses façades et des dimensions de ses fenêtres, l'édifice projeté ne s'harmoniserait pas avec les maisons du quartier. Ils se plaignent d'une application arbitraire des clauses esthétiques prévues aux art. 79 let b et 110 let. a et d RCCZ.
3.1 Il y a arbitraire, prohibé par l'art. 9 Cst., lorsque la décision attaquée viole gravement une règle ou un principe juridique clair et indiscuté ou lorsqu'elle contredit d'une manière choquante le sentiment de la justice ou de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle est insoutenable ou en contradiction évidente avec la situation de fait, si elle a été adoptée sans motif objectif ou en violation d'un droit certain. Par ailleurs, il ne suffit pas que les motifs de la décision attaquée soient insoutenables, encore faut-il que celle-ci soit arbitraire dans son résultat (<ref-ruling> consid. 3.1 p. 266; <ref-ruling> consid. 2 p. 61 et la jurisprudence citée), ce que les recourants doivent démontrer en vertu de l'<ref-law> (<ref-ruling> consid. 3.2 p. 400).
3.2 L'art. 79 let b RCCZ prévoit que "toute construction doit être judicieusement architecturée ou restaurée. Le Conseil communal peut refuser tout projet rompant l'harmonie ou le développement esthétique général d'un quartier (par exemple volume, choix et couleurs de matériaux, orientation, toiture, ouvertures etc.); il peut consulter des experts ou la commission cantonale des sites". En vertu de l'art. 110 let. a RCCZ, la "zone d'ensemble de valeur" a pour but de "maintenir le caractère existant des anciens quartiers" et d'encourager "la protection, l'entretien et la rénovation des constructions existantes". A teneur de la lettre d de cette disposition, "les constructions nouvelles, les transformations et les reconstructions doivent s'intégrer harmonieusement aux constructions existantes (hauteur, aspect extérieur, forme des toits, choix des matériaux, couleurs, etc.). Elles peuvent déroger aux distances et hauteurs réglementaires sur la base d'un plan de quartier ou d'un plan d'aménagement détaillé".
Lorsqu'il s'agit d'examiner l'application de clauses d'esthétique, le Tribunal fédéral fait preuve de retenue dans l'appréciation des circonstances locales. Dans ce domaine, les autorités locales disposent en effet d'un large pouvoir d'appréciation (cf. <ref-ruling> consid. 4.3 p. 416 et les références; arrêt 1P.678/2004 du 21 juin 2005 consid. 4, in ZBl 2006 p. 430). C'est le cas notamment lorsqu'il s'agit de savoir si une construction ou une installation est de nature à compromettre l'aspect ou le caractère d'un site, d'une localité, d'un quartier ou d'une rue (<ref-ruling> consid. 3d p. 118, 363 consid. 3b p. 367; arrêt P.265/1985 du 16 avril 1986 consid. 3 in RDAF 1987 p. 155). Toutefois, la question de l'intégration d'une construction ou d'une installation à l'environnement bâti dans un site ne doit pas être résolue en fonction du sentiment subjectif de l'autorité, mais selon des critères objectifs et systématiques; en tous les cas, l'autorité compétente doit indiquer les raisons pour lesquelles elle considère qu'une construction ou une installation serait de nature ou non à enlaidir le site (arrêt 1P.581/1998 du 1er février 1999, in RDAF 2000 I 288; <ref-ruling> consid. 3b p. 367, 370 consid. 3 p. 373; <ref-ruling> consid. 4b p. 345 et les arrêts cités).
3.3 A l'instar de la sous-commission cantonale des sites, de la Ville de Sierre et du Conseil d'Etat, le Tribunal cantonal a considéré que la maison projetée s'intégrait de manière acceptable au bâti existant. Comme relevé ci-dessus (consid. 2.2), ledit tribunal a pris soin d'expliquer les raisons pour lesquelles il considérait que la construction projetée s'intégrait suffisamment, d'un point de vue esthétique, dans le quartier.
Les critiques des recourants selon lesquelles l'expression architecturale du projet romprait de façon brutale l'harmonie esthétique du quartier, "aucune ligne architecturale n'étant prévue pour atténuer la transition entre l'ancien et le moderne" et la "forme cubique s'imposant avec violence à l'horizon", sont l'expression de leur appréciation subjective du projet. Elles ne sont pas de nature à démontrer le caractère manifestement insoutenable de l'argumentation du Tribunal cantonal. Ce d'autant moins que le milieu bâti dans cette zone ne présente pas une homogénéité ou une spécificité particulières qu'il conviendrait de préserver dans toute la mesure du possible en imposant un style de construction donné sur la parcelle n° 9115. En effet, le Tribunal cantonal a constaté que le bâti de ce quartier était relativement disparate en ce qui concerne la volumétrie, les matériaux (maçonnerie et/ou bois), la pente et la couverture du toit, son unité ne résultant que de l'aspect "villageois" du quartier. Les recourants ne prétendent par ailleurs pas qu'une telle constatation, fondée sur les montages photographiques, la maquette et les plans versés au dossier, serait contraire à la situation effective. S'ajoute à cela le fait que les critères d'intégration harmonieuse prévus aux art. 79 let. b et 110 let. d RCCZ n'imposent pas le respect d'un style architectural particulier, que les recourants voudraient, en l'occurrence, "traditionnel".
En définitive, en considérant que, dans un quartier d'habitation où les maisons traditionnelles côtoient des constructions récentes, le projet litigieux ne se heurtait à aucun obstacle qui découlerait des clauses d'esthétique contenues aux art. 79 let. b et 110 let. a et d RCCZ, le Tribunal cantonal n'a pas fait preuve d'arbitraire.
4. Enfin, les recourants considèrent que la voie d'accès ne répondrait pas aux exigences requises pour la qualifier de suffisante au regard de l'art. 19 al. 1 LAT. Ils se plaignent à cet égard d'une appréciation arbitraire des faits.
4.1 Aux termes de l'art. 22 al. 2 let. b LAT, une autorisation de construire ne peut être délivrée que si le terrain est équipé. Tel est le cas selon l'art. 19 al. 1 LAT, lorsqu'il est desservi d'une manière adaptée à l'utilisation prévue par des voies d'accès et par des conduites auxquelles il est possible de se raccorder sans frais disproportionnés pour l'alimentation en eau et en énergie, ainsi que pour l'évacuation des eaux usées. Une voie d'accès est adaptée à l'utilisation prévue lorsqu'elle est suffisante d'un point de vue technique et juridique pour accueillir tout le trafic de la zone qu'elle dessert (<ref-ruling> consid. 3a p. 68 et les arrêts cités). Il faut aussi que la sécurité des usagers soit garantie sur toute sa longueur, que le revêtement soit adéquat en fonction du type de véhicules qui vont l'emprunter, que la visibilité et les possibilités de croisement soient suffisantes et que l'accès des services de secours (ambulance, service du feu) et de voirie soit assuré (arrêt 1C_221/2007 du 3 mars 2008 consid. 7.2; arrêt 1P.115/1992 du 6 mai 1993 consid. 4, in ZBl 95/1994 p. 89 et les références citées).
Les autorités communales et cantonales disposent en ce domaine d'un important pouvoir d'appréciation, que le Tribunal fédéral doit respecter (<ref-ruling> consid. 3a in fine p. 68; <ref-ruling> consid. 4 p. 373). Elles peuvent également se fonder sur les normes édictées en la matière par l'Union des professionnels suisses de la route (cf. art. 49 let. d RCCZ), étant précisé que ces normes doivent être appliquées en fonction des circonstances concrètes et en accord avec les principes généraux du droit, dont celui de la proportionnalité (arrêt 1P_157/2008 du 10 juillet 2008 consid. 2.1; arrêt P.124/1977 du 15 novembre 1978 consid. 3b in ZBl 1979 p. 223; sur l'ensemble de ces questions, voir aussi DFJP/OFAT, Etude relative à la loi fédérale sur l'aménagement du territoire, 1981, §§ 12-14 ad art. 19, p. 236 s.; André Jomini, Commentaire de la loi fédérale sur l'aménagement du territoire, 1999, n. 18 ss ad art. 19; Zen-Ruffinen/Guy-Ecabert, Aménagement du territoire, construction expropriation, 2001, n. 700 ss, p. 324-328; Waldmann/Hänni, Raumplanungsgesetz, 2006, n. 21 ad art. 19).
4.2 En l'espèce, l'accès à l'immeuble litigieux se ferait par une route privée, dont l'usage est juridiquement garanti en faveur de la parcelle n° 9115 par une servitude de passage à char, permettant selon l'art. 171 de la loi cantonale d'application du code civil suisse du 24 mars 1998 (LACCS; RS/VS 211.1), le passage de "tout autre véhicule". Par conséquent, le recourant se prévaut à tort du fait que l'existence d'une servitude de passage à char ne serait pas en mesure de garantir juridiquement un passage à tous les véhicules.
Sur le plan technique, cette route dessert un nombre limité de logements, auxquels viendront s'ajouter les deux unités de la maison projetée. En application de la norme SN 640 045 édictée par l'Union suisse des professionnels de la route, les juges cantonaux ont constaté que l'accès existant était pour le moins assimilable à un "chemin d'accès", apte à desservir plus de trente unités de logement à raison de 50 véhicules par heure. Les recourants prétendent d'abord que ce chemin d'accès ne bénéficierait d'aucun revêtement adéquat pour le passage des véhicules automobiles. Des usagers empruntent déjà cette route de desserte et le recourant ne démontre pas en quoi le revêtement serait insuffisant pour supporter des véhicules de tourisme dont le nombre sera limité vu la nécessité de desservir uniquement deux logements supplémentaires. Ce grief tombe donc à faux.
Les recourants se prévalent ensuite de la norme SN 640 050, qui prévoit que la largeur d'un chemin d'accès doit être de 3 m au moins. Ils estiment que la sécurité des usagers n'est pas garantie sur toute la longueur de la route dont la largeur à l'endroit le plus étroit serait de 2 m 30. A cet égard, il convient de relever que le Tribunal cantonal n'a nullement constaté une largeur minimale de 2 m 30. Il a en revanche admis, sur la base des plans, photographies, photomontages et maquette versés au dossier, que l'accès était techniquement suffisant nonobstant l'impossibilité de croisement à l'endroit le plus étroit, le croisement de véhicules étant possible sur le reste du tracé. L'aptitude d'une voie d'accès à assurer la desserte d'une parcelle n'exige pas que soient garanties des possibilités de croisement sur toute sa longueur; il suffit que ces possibilités soient suffisantes pour assurer la sécurité des usagers. Or en l'espèce, en raison du tracé rectiligne de l'accès à l'endroit de la largeur réduite, la visibilité est bonne et permet à un conducteur attentif et respectueux des règles usuelles de circulation de constater la présence d'un autre véhicule survenant en sens inverse suffisamment tôt pour s'arrêter à l'entrée du tronçon et le laisser passer. Au demeurant, le recourant ne démontre pas en quoi la sécurité des usagers ne serait pas garantie, ce d'autant moins que le préavis du chargé communal de sécurité du 5 juillet 2007 atteste que l'accès permet les manoeuvres des véhicules et engins des sapeurs-pompiers. Dans ces conditions, le Tribunal cantonal pouvait admettre de manière soutenable que le chemin litigieux était suffisant pour desservir la parcelle des intimés.
5. Il s'ensuit que le recours doit être rejeté. Les recourants, qui succombent, doivent supporter les frais judiciaires (art. 65 et 66 LTF). Ils verseront en outre une indemnité de dépens aux intimés, qui ont eu recours à un avocat (<ref-law>). Ni la Ville de Sierre, ni le Conseil d'Etat n'ont en revanche droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge d'X._ et de Y._.
3. Une indemnité de 2'000 fr. est allouée à A._ et B._ à titre de dépens, à la charge d'X._ et de Y._, solidairement entre eux.
4. Le présent arrêt est communiqué aux mandataires des parties, à la Ville de Sierre, au Conseil d'Etat du canton du Valais et à la Cour de droit public du Tribunal cantonal du canton du Valais.
Lausanne, le 24 mars 2009
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Féraud Tornay