Faits: A. En 1991, le Département des travaux publics du canton de Genève (actuellement le Département du territoire; ci-après: le Département cantonal) a recensé le patrimoine architectural et des sites du canton. A cette occasion, il a dressé un plan de synthèse du secteur Grange-Canal nord situé sur la commune de Chêne-Bougeries, attribuant une valeur aux bâtiments implantés dans ce secteur. Les bâtiments A 330 et A 328 ont notamment été qualifiés de bâtiments intéressants. A la demande du Département cantonal, Christine Amsler, historienne des bâtiments, a effectué en 2002 une étude portant sur les immeubles témoins de l'ancien hameau de Grange-Canal. Jusqu'au traité de Turin en 1654, le hameau marquait la frontière entre les terres franches appartenant au domaine de la République de Genève et les terres de Saint-Victor et Chapitre sur lesquelles la Savoie exerçait une influence prépondérante. Situé au milieu de la campagne, aux portes de la ville alors fortifiée, le hameau comptait une boulangerie, des "logis", des cabarets, des granges et des écuries destinés à héberger et restaurer des hôtes de passage. Si, à la fin des années 1930, les bâtiments du hameau avaient perdu leurs terrains environnants, par la construction de lotissements, ils n'en avaient pas moins conservé l'essentiel de leur substance. Les années d'après guerre (1950) avaient cependant ravagé l'ancien hameau. Il restait de l'ancienne période l'enveloppe de quelques bâtiments. Le coeur de l'ancien hameau conservait par ailleurs un groupe d'immeubles particulièrement bien préservés sur le plan de la substance; non entretenus, ces bâtiments nécessitaient d'urgence des travaux d'entretien et d'assainissement. En 2003, le Département cantonal a confié à un bureau d'architecte le soin d'effectuer une étude de plan de site sur un périmètre beaucoup plus large que celui du secteur sus-décrit qui ne constituait que l'un des six sous-périmètres de cette étude. A la suite du préavis défavorable de la commission d'urbanisme, le plan a été abandonné par la direction du patrimoine et des sites du Département, puis repris et limité au sous-périmètre précité. Le 18 mai 2006, le Département cantonal a terminé l'élaboration du plan de site. Ce plan est scindé en deux parties. La première, au nord, inclut des bâtiments témoins de l'ancien hameau de Grange-Canal. La deuxième partie, au sud, regroupe des bâtiments construits à la fin du 19ème siècle qui sont témoins de l'architecture de cette période et, en particulier, de celle de l'architecte Puthon. Parmi ces bâtiments se trouve l'immeuble A 330 (parcelle no 1152) situé sur la route de Chêne. Réalisé par l'architecte précité en 1899, cet immeuble est composé d'un rez-de-chaussée (arcades) loué à des commerces. Il est accolé au bâtiment A 328, beaucoup plus haut, qui forme l'angle entre la route de Chêne et le chemin de Grange-Canal. Il comportait, à l'origine, sur son toit, une barrière en béton moulé datant de la même période. Le règlement annexé audit plan prévoit notamment, au sud, le maintien du bâtiment A 330. B. Le projet de plan de site a été soumis à une enquête publique du 11 septembre au 10 octobre 2006. La commune de Chêne-Bougeries a délivré un préavis défavorable le 10 mai 2007. Une procédure d'opposition a été ouverte du 22 août au 20 septembre 2007. Ont notamment fait opposition A._ et B._, copropriétaires de la parcelle n° 1152 située le long de la route de Chêne et comportant l'immeuble A 330. Par arrêté du 25 juin 2008, le Conseil d'Etat a approuvé le plan de site ainsi que le règlement y afférant et rejeté les oppositions. Après avoir procédé à un transport sur place en présence des parties, le Tribunal administratif a partiellement admis le recours de A._ et B._, par arrêt du 22 juin 2010. Il a considéré en substance que la mesure envisagée pour leur immeuble était disproportionnée; seule l'intégration de cette construction dans "les autres bâtiments", au sens de l'art. 4 du règlement du plan de site, apparaissait conforme au principe de la proportionnalité. C. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif du 22 juin 2010 ainsi que l'arrêté du Conseil d'Etat du 25 juin 2008 approuvant le plan de site litigieux et rejetant leur opposition. Ils concluent également à ce que le Tribunal fédéral dise que la parcelle n° 1152 de la commune de Chêne-Bougeries n'est pas incluse dans le plan de site litigieux et ordonne au Conseil d'Etat et au Département cantonal de modifier le périmètre du plan de site afin d'en exclure la parcelle n° 1152. Ils se plaignent d'une constatation inexacte des faits ainsi que d'une violation de la garantie de la propriété. Le Tribunal administratif s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le Conseil d'Etat conclut au rejet du recours.