Faits: A. La société anonyme Y._ SA, dont le siège est à Lausanne, a été inscrite au registre du commerce le ***. Elle a pour but l'exploitation de salons de coiffure pour dames et le commerce d'articles relatifs à la coiffure et aux soins capillaires. A._ et BZ._ en forment le conseil d'administration. X._ en est l'actionnaire. Y._ SA a acquis en 1978 la parcelle n° 1591 de la commune du C._ pour un montant de 101'890 fr. D'une surface de 1'145 m2, cette parcelle non bâtie est située en zone villas. Elle jouxte au sud la parcelle n° 1361, propriété de X._, de 1'004 m2, sur laquelle est bâtie une villa de 123 m2. Lors de l'acquisition, l'estimation fiscale de la parcelle n° 1591 a été arrêtée à 50'000 fr., montant porté à 143'000 fr. lors de la révision générale de 1994. Le 25 août 2008, la Commission d'estimation fiscale des immeubles du district de Lausanne (ci-après: la Commission d'estimation fiscale) a maintenu l'estimation à 143'000 fr. Par acte notarié du 23 avril 2008, Y._ SA a vendu cet immeuble à X._ pour le prix de 250'000 fr., soit à la valeur pour laquelle il était inscrit à son bilan au 30 septembre 2007. Ce transfert était lié à la reprise des engagements hypothécaires par la Banque D._, laquelle avait fait dépendre le refinancement de la condition que l'immeuble soit vendu à l'actionnaire. Par décision du 18 juin 2008, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale des impôts ou l'autorité fiscale) a arrêté à 343'500 fr., soit 300 fr. le m2, l'assiette du droit de mutation dû par X._ du fait de cette acquisition. L'intéressé a formé une réclamation à l'encontre de ce prononcé. B. Par courrier du 24 septembre 2008, l'Administration cantonale des impôts a informé X._ de ce qu'elle réformait la décision du 18 juin 2008 à son détriment, en portant l'assiette du droit de mutation à 572'500 fr., soit 500 fr. le m2. Le contribuable était invité à se déterminer sur le retrait ou le maintien de sa réclamation. X._ ayant opté pour son maintien, la réclamation a été rejetée par décision du 28 octobre 2008 et l'assiette du droit de mutation fixée au montant précité. X._ a déféré ce prononcé à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal ou l'autorité précédente). Après avoir tenu une audience le 17 mai 2010 et procédé à une inspection locale de l'immeuble en cause, cette autorité a rejeté le recours par arrêt du 31 août 2010. C. Agissant par la voie du recours en matière de droit public, X._ demande en substance au Tribunal fédéral, sous suite de frais et dépens pour les instances fédérale et cantonale, de réformer l'arrêt attaqué en ce sens que l'assiette du droit de mutation est fixée à 218 fr. le m2 - soit le prix stipulé dans l'acte notarié du 23 avril 2008 - et subsidiairement à 300 fr. le m2; à titre plus subsidiaire, il demande que le jugement entrepris soit annulé et le dossier renvoyé à l'autorité précédente afin qu'elle statue à nouveau dans le sens des considérants. A titre préalable, il demande que son recours soit doté de l'effet suspensif. L'autorité précédente se réfère aux considérants de son arrêt. L'Administration cantonale des impôts conclut au rejet du recours dans la mesure de sa recevabilité. L'Administration fédérale des contributions s'en remet à justice. Par ordonnance présidentielle du 6 octobre 2010, la requête d'effet suspensif a été rejetée.