Faits:
A. En 1991, le Département des travaux publics du canton de Genève (actuellement le Département du territoire; ci-après: le Département cantonal) a recensé le patrimoine architectural et des sites du canton. A cette occasion, il a dressé un plan de synthèse du secteur Grange-Canal nord situé sur la commune de Chêne-Bougeries, attribuant une valeur aux bâtiments implantés dans ce secteur. Les bâtiments A 330 et A 328 ont notamment été qualifiés de bâtiments intéressants.
A la demande du Département cantonal, Christine Amsler, historienne des bâtiments, a effectué en 2002 une étude portant sur les immeubles témoins de l'ancien hameau de Grange-Canal. Jusqu'au traité de Turin en 1654, le hameau marquait la frontière entre les terres franches appartenant au domaine de la République de Genève et les terres de Saint-Victor et Chapitre sur lesquelles la Savoie exerçait une influence prépondérante. Situé au milieu de la campagne, aux portes de la ville alors fortifiée, le hameau comptait une boulangerie, des "logis", des cabarets, des granges et des écuries destinés à héberger et restaurer des hôtes de passage. Si, à la fin des années 1930, les bâtiments du hameau avaient perdu leurs terrains environnants, par la construction de lotissements, ils n'en avaient pas moins conservé l'essentiel de leur substance. Les années d'après guerre (1950) avaient cependant ravagé l'ancien hameau. Il restait de l'ancienne période l'enveloppe de quelques bâtiments. Le coeur de l'ancien hameau conservait par ailleurs un groupe d'immeubles particulièrement bien préservés sur le plan de la substance; non entretenus, ces bâtiments nécessitaient d'urgence des travaux d'entretien et d'assainissement.
En 2003, le Département cantonal a confié à un bureau d'architecte le soin d'effectuer une étude de plan de site sur un périmètre beaucoup plus large que celui du secteur sus-décrit qui ne constituait que l'un des six sous-périmètres de cette étude. A la suite du préavis défavorable de la commission d'urbanisme, le plan a été abandonné par la direction du patrimoine et des sites du Département, puis repris et limité au sous-périmètre précité.
Le 18 mai 2006, le Département cantonal a terminé l'élaboration du plan de site. Ce plan est scindé en deux parties. La première, au nord, inclut des bâtiments témoins de l'ancien hameau de Grange-Canal. La deuxième partie, au sud, regroupe des bâtiments construits à la fin du 19ème siècle qui sont témoins de l'architecture de cette période et, en particulier, de celle de l'architecte Puthon. Parmi ces bâtiments se trouve l'immeuble A 330 (parcelle no 1152) situé sur la route de Chêne. Réalisé par l'architecte précité en 1899, cet immeuble est composé d'un rez-de-chaussée (arcades) loué à des commerces. Il est accolé au bâtiment A 328, beaucoup plus haut, qui forme l'angle entre la route de Chêne et le chemin de Grange-Canal. Il comportait, à l'origine, sur son toit, une barrière en béton moulé datant de la même période. Le règlement annexé audit plan prévoit notamment, au sud, le maintien du bâtiment A 330.
B. Le projet de plan de site a été soumis à une enquête publique du 11 septembre au 10 octobre 2006. La commune de Chêne-Bougeries a délivré un préavis défavorable le 10 mai 2007.
Une procédure d'opposition a été ouverte du 22 août au 20 septembre 2007. Ont notamment fait opposition A._ et B._, copropriétaires de la parcelle n° 1152 située le long de la route de Chêne et comportant l'immeuble A 330.
Par arrêté du 25 juin 2008, le Conseil d'Etat a approuvé le plan de site ainsi que le règlement y afférant et rejeté les oppositions.
Après avoir procédé à un transport sur place en présence des parties, le Tribunal administratif a partiellement admis le recours de A._ et B._, par arrêt du 22 juin 2010. Il a considéré en substance que la mesure envisagée pour leur immeuble était disproportionnée; seule l'intégration de cette construction dans "les autres bâtiments", au sens de l'art. 4 du règlement du plan de site, apparaissait conforme au principe de la proportionnalité.
C. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif du 22 juin 2010 ainsi que l'arrêté du Conseil d'Etat du 25 juin 2008 approuvant le plan de site litigieux et rejetant leur opposition. Ils concluent également à ce que le Tribunal fédéral dise que la parcelle n° 1152 de la commune de Chêne-Bougeries n'est pas incluse dans le plan de site litigieux et ordonne au Conseil d'Etat et au Département cantonal de modifier le périmètre du plan de site afin d'en exclure la parcelle n° 1152. Ils se plaignent d'une constatation inexacte des faits ainsi que d'une violation de la garantie de la propriété.
Le Tribunal administratif s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le Conseil d'Etat conclut au rejet du recours.

Considérant en droit:
1. 1.1 Dirigé contre une décision rendue dans le domaine du droit public de l'aménagement du territoire, le recours est en principe recevable comme recours en matière de droit public conformément aux art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée. Les recourants ont pris part à la procédure de recours devant le Tribunal administratif. En tant que propriétaires de l'immeuble n° 1152 qui se trouve dans le périmètre du plan de site litigieux, ils sont particulièrement touchés par l'arrêt attaqué qui classe celui-ci dans les "autres bâtiments" au sens de l'art. 4 du règlement du plan de site. Ils peuvent ainsi se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué. Ils ont dès lors qualité pour agir au sens de l'art. 89 al. 1 LTF.
1.2 Toutefois, dans la mesure où les intéressés concluent à l'annulation de l'arrêté du Conseil d'Etat du 25 juin 2008, leur recours est irrecevable en raison de l'effet dévolutif du recours déposé auprès du Tribunal administratif (cf. <ref-ruling> consid. 2a p. 302 s.; <ref-ruling> consid. 1c p. 33).
2. En premier lieu, les recourants reprochent à la cour cantonale d'avoir mal constaté les faits pertinents.
2.1 En principe, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Le recourant ne peut critiquer ceux-ci que s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.3 p. 62) - ou en violation du droit au sens de l'art. 95 LTF (art. 97 al. 1 LTF), ce qu'il lui appartient d'exposer et de démontrer de manière claire et circonstanciée. La correction du vice soulevé doit en outre être susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (cf. <ref-ruling> consid. 3 p. 104 s; <ref-ruling> consid. 1.4 p. 254 s; <ref-ruling> consid. 2.1 p. 120).
2.2 Les recourants estiment que le Tribunal administratif a décrit de façon incomplète l'immeuble A 328 adjacent au leur. Une seule mention de ce bâtiment figurerait dans l'arrêt attaqué, précisant que cet immeuble, accolé au leur, est beaucoup plus haut et forme l'angle entre la route de Chêne et le chemin de Grange-Canal, que la façade est surplombe. L'arrêt ne relèverait pas le moindre élément qui justifierait une éventuelle protection de ce bâtiment ni ne préciserait que la façade donnant sur leur immeuble est en réalité un mur en attente borgne. Par conséquent, le bâtiment A 328 ne mériterait aucune protection et il serait arbitraire de considérer que la protection de ce bâtiment, ou de sa façade borgne, interdirait toute construction accolée à celui-ci.
Il ressort de l'arrêt attaqué que l'immeuble A 328 a été qualifié de bâtiment intéressant lors du recensement de 1991 (ch. 1 des faits de l'arrêt cantonal). Au ch. 16 de la partie en fait de son arrêt, le Tribunal administratif a repris les griefs contenus dans le recours des intéressés, lesquels indiquaient la "présence [...] d'un mur borgne accolé à l'ouest". Par ailleurs, au consid. 8 de la partie en droit, les juges cantonaux ont exposé que les bâtiments situés côté sud du plan litigieux - dont fait partie l'immeuble A 328 -, construits pour la plupart à la même période et sous la houlette du même architecte, présentaient une cohérence et une homogénéité architecturale qui permettaient de les qualifier d'"ensemble bâti". Il s'ensuit que l'arrêt attaqué, qui décrit l'immeuble en question à plusieurs reprises, donne des informations suffisantes pour permettre d'apprécier la situation. Il n'apparaît pas que des éléments essentiels aient été passés sous silence. Par ailleurs, le point de savoir si ce bâtiment mérite protection et s'il est légitime d'interdire aux recourants de surélever leur immeuble ne relève pas de l'établissement des faits mais plutôt de leur appréciation juridique. Il s'agit dès lors d'une question de droit qui sera examinée avec le fond. Il n'y a dès lors pas lieu de compléter les faits retenus dans l'arrêt attaqué et le Tribunal fédéral est lié par ceux-ci conformément à l'art. 105 al. 1 LTF. Le grief doit donc être rejeté.
3. Au fond, les recourants se plaignent d'une atteinte disproportionnée à leur droit de propriété. Ils font valoir que, d'après l'arrêt attaqué, leur immeuble ne mérite pas de protection et peut être démoli. Le Tribunal administratif l'a néanmoins assujetti au régime des "autres bâtiments", plutôt que de l'exclure du périmètre du plan de site. Il a ainsi interdit une reconstruction dans un gabarit autre que le gabarit existant, empêchant ainsi la construction d'un bâtiment de logements.
3.1 L'assujettissement d'un immeuble à des mesures de conservation ou de protection du patrimoine naturel ou bâti constitue une restriction du droit de propriété garanti par l'art. 26 al. 1 Cst.; pour être compatible avec cette disposition, l'assujettissement doit reposer sur une base légale, être justifié par un intérêt public et respecter le principe de la proportionnalité (art. 36 al. 1 à 3 Cst.; <ref-ruling> consid. 2a p. 221 et les arrêts cités). Les recourants ne discutent pas l'existence d'une base légale suffisante. Ils soutiennent en revanche que l'atteinte à leur droit de propriété ne répond à aucun intérêt public et est disproportionnée.
3.2 Les recourants font valoir que l'arrêt du Tribunal administratif exclut une utilisation de leur immeuble conforme à leur intérêt privé ainsi qu'à l'intérêt public à la construction de logements, alors qu'il n'existerait pas d'intérêt public à la protection du bâtiment voisin.
3.2.1 D'après la jurisprudence, les restrictions de la propriété ordonnées pour protéger les monuments et les sites naturels ou bâtis sont en principe d'intérêt public (<ref-ruling> consid. 2c p. 221; <ref-ruling> consid. 4b p. 309 et les arrêts cités). Tout objet ne méritant pas une protection, il faut procéder à une appréciation d'ensemble, en fonction de critères objectifs ou scientifiques. Pour le classement d'un bâtiment, la jurisprudence prescrit de prendre en considération les aspects culturels, historiques, artistiques et urbanistiques. La mesure ne doit pas être destinée à satisfaire uniquement un cercle restreint de spécialistes; elle doit au contraire apparaître légitime aux yeux du public ou d'une grande partie de la population, pour avoir en quelque sorte une valeur générale (arrêt 1P.79/2005 du 3 septembre 2005, in ZBl 2007 p. 83; <ref-ruling> consid. 4a p. 275; <ref-ruling> consid. 5a p. 389).
En règle générale, le Tribunal fédéral examine librement si une mesure de protection est justifiée par un intérêt public suffisant; il s'impose toutefois une certaine retenue lorsqu'il doit se prononcer sur de pures questions d'appréciation ou tenir compte de circonstances locales, dont les autorités cantonales ont une meilleure connaissance que lui, notamment en matière de protection des monuments ou des sites (<ref-ruling> consid. 4.3 p. 416 et les arrêts cités). Selon la jurisprudence en effet, il appartient de façon prioritaire aux autorités des cantons de définir les objets méritant protection (<ref-ruling> consid. 2c p. 222; <ref-ruling> consid. 3b p. 275; <ref-ruling> consid. 5c/bb p. 96; <ref-ruling> consid. 2b p. 397; cf. aussi <ref-ruling> consid. 4.1 p. 344).
3.2.2 En l'espèce, les recourants partent du principe que c'est uniquement pour protéger l'immeuble adjacent au leur, à savoir l'immeuble A 328, que le Tribunal administratif a estimé nécessaire d'empêcher une reconstruction de leur bâtiment avec un gabarit plus élevé; or, la seule partie concernée de l'immeuble voisin serait un mur en attente borgne, lequel n'aurait de sens que si une nouvelle construction venait s'y accoler.
Sur ce point, les recourants ne font qu'une lecture partielle de la décision cantonale. Il ressort en effet de l'arrêt attaqué que leur immeuble a été incorporé dans le plan de site par la nécessité de protection de l'ensemble bâti dont il fait partie (ensemble Puthon), et non pas dans le seul but de conserver la façade de l'immeuble adjacent. Les juges cantonaux ont relevé qu'il ressortait clairement du recensement architectural, de ses fiches annexes et des constatations faites lors du transport sur place que les bâtiments situés côté sud, construits à la fin du 19ème siècle par l'architecte Puthon et ses contemporains, représentaient une cohérence et une homogénéité architecturale qui permettaient de les qualifier d'ensemble bâti. Ceci n'est plus contesté par les recourants. Par ailleurs, tous ces immeubles, y compris celui des recourants, avaient été recensés comme bâtiments intéressants en 1991. Ainsi, même si l'immeuble des recourants n'était en soi pas digne d'intérêt, son incorporation dans le plan de site se justifiait par la protection de l'ensemble bâti dont il faisait partie et qui constituait le but d'intérêt public poursuivi. Selon la cour cantonale, on voyait mal qu'une nouvelle construction puisse prendre place à cet endroit sans dénaturer les bâtiments voisins et faire perdre tout intérêt à leur protection. Dans ces conditions, et avec la retenue dont doit faire preuve le Tribunal fédéral dans l'examen de l'intérêt public, il apparaît que l'inclusion de l'immeuble des recourants dans le périmètre de protection, qui n'est pas commandée uniquement par la présence de l'immeuble A 328 accolé, est conforme à l'intérêt public.
Les recourants invoquent l'intérêt public à la construction de logements à Genève en période de pénurie. Or, le Tribunal fédéral a déjà jugé que l'autorité de décision dispose d'un large pouvoir d'appréciation qui l'habilite, en présence de deux intérêts publics opposés et vu les circonstances concrètes, à faire prévaloir un intérêt sur l'autre, sans que l'intérêt public à la construction de logements doive nécessairement l'emporter sur celui lié à la protection du patrimoine (arrêt 1C_571/2008 du 19 mars 2009, consid. 4.2.2). En l'occurrence, le Tribunal administratif a relevé que la pesée des intérêts contradictoires relevait de l'opportunité et qu'aucun excès ou un abus du pouvoir d'appréciation n'était à déplorer à ce stade, la mesure restant dans le cadre des conditions fixées par la loi. Les recourants ne discutent pas cette motivation, qui n'apparaît d'ailleurs pas critiquable, si bien qu'il n'y a pas lieu de revenir sur le choix opéré par le Conseil d'Etat entre les deux intérêts publics antagonistes et confirmé par les juges cantonaux.
3.3 Les recourants estiment ensuite que la mesure de protection prise à l'encontre du bâtiment dont ils sont propriétaires viole le principe de la proportionnalité. Ils font valoir qu'une autre solution - apte à garantir l'objectif de protection du patrimoine - pourrait être envisageable, comme par exemple de soumettre le projet de construction à l'avis de la Commission des monuments, de la nature et des sites, ce qui permettrait de garantir que la nouvelle construction s'harmonise avec l'immeuble A 328.
3.3.1 Le principe de la proportionnalité exige qu'une mesure restrictive soit apte à produire les résultats escomptés (règle de l'aptitude) et que ceux-ci ne puissent être atteints par une mesure moins incisive (règle de la nécessité); en outre, il interdit toute limitation allant au-delà du but visé et il exige un rapport raisonnable entre celui-ci et les intérêts publics ou privés compromis (principe de la proportionnalité au sens étroit, impliquant une pesée des intérêts; <ref-ruling> consid. 2c et les arrêts cités). L'examen, par le Tribunal fédéral, de la proportionnalité d'une mesure de protection d'un bâtiment ou d'un site est en principe libre mais, comme pour l'intérêt public, il s'exerce avec une certaine retenue (cf. supra, consid. 3.2.1 et la jurisprudence citée).
3.3.2 Dans le plan de site approuvé par le Conseil d'Etat le 25 juin 2008, l'immeuble des recourants était classé "bâtiment maintenu". Les juges cantonaux ont toutefois considéré que cette mesure était disproportionnée. Le règlement imposait en effet le maintien de l'immeuble pour des raisons qui concernaient le bâtiment lui-même, alors qu'aucune étude postérieure et complémentaire au recensement de 1991 n'avait été effectuée, qui permettait de justifier cette restriction. Si la protection de l'immeuble contre lequel il s'appuyait, incorporé dans le plan de site, et celle de l'ensemble protégé justifiait sans nul doute une restriction à la propriété pour des motifs de protection du patrimoine, l'intégration de cette construction dans les "autres bâtiments" apparaissait seule conforme au principe de la proportionnalité. Dans son mémoire de réponse, le Conseil d'Etat a précisé que le fait d'exclure le bâtiment A 330 du périmètre du plan de site, comme le veulent les recourants, reviendrait à enlever toute protection à l'ensemble formé par les villas "Puthon" dont la plus proche se situe à moins de 10 mètres du bâtiment A 330. En effet, si le Conseil d'Etat avait initialement décidé le maintien de ce bâtiment, tant dans son gabarit que dans son implantation, c'était dans le but d'éviter de porter atteinte à la configuration des lieux et de créer une "ombre" au préjudice des villas sises dans le chemin Puthon. Toute augmentation du gabarit, que souhaiteraient les recourants, que celle-ci s'opère sous la forme d'une surélévation ou d'une démolition-reconstruction, ne pourrait pas être envisagée dans l'optique de la préservation de ces villas dont le maintien n'est pas contesté par les recourants; une telle opération serait en effet de nature à "écraser" lesdites villas, en particulier la première de celle-ci, située à proximité immédiate du bâtiment A 330. Dans ces conditions, il apparaît que le classement de l'immeuble des recourants dans "les autres bâtiments" - qui, selon l'art. 4 du règlement du plan de site, peuvent être transformés, faire l'objet d'un agrandissement mineur ou être reconstruits dans leur gabarit et leur implantation -, est une mesure nécessaire pour sauvegarder la cohérence et l'homogénéité architecturale de l'ensemble bâti à protéger. Cet objectif ne pouvant être atteint par une mesure moins incisive, l'atteinte au droit de propriété des recourants, certes importante, ne viole pas le principe de la proportionnalité.
4. Il résulte de ce qui précède que le recours doit être rejeté dans la mesure où il est recevable. Les recourants qui succombent doivent supporter les frais judiciaires (art. 65 LTF, art. 66 al. 1 et 5 LTF). Le Conseil d'Etat n'a pas droit à des dépens (art. 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3. Le présent arrêt est communiqué au mandataire des recourants, au Conseil d'Etat et au Tribunal administratif du canton de Genève.
Lausanne, le 17 janvier 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Fonjallaz Mabillard