Faits:
A. La société anonyme Y._ SA, dont le siège est à Lausanne, a été inscrite au registre du commerce le ***. Elle a pour but l'exploitation de salons de coiffure pour dames et le commerce d'articles relatifs à la coiffure et aux soins capillaires. A._ et BZ._ en forment le conseil d'administration. X._ en est l'actionnaire.
Y._ SA a acquis en 1978 la parcelle n° 1591 de la commune du C._ pour un montant de 101'890 fr. D'une surface de 1'145 m2, cette parcelle non bâtie est située en zone villas. Elle jouxte au sud la parcelle n° 1361, propriété de X._, de 1'004 m2, sur laquelle est bâtie une villa de 123 m2. Lors de l'acquisition, l'estimation fiscale de la parcelle n° 1591 a été arrêtée à 50'000 fr., montant porté à 143'000 fr. lors de la révision générale de 1994. Le 25 août 2008, la Commission d'estimation fiscale des immeubles du district de Lausanne (ci-après: la Commission d'estimation fiscale) a maintenu l'estimation à 143'000 fr.
Par acte notarié du 23 avril 2008, Y._ SA a vendu cet immeuble à X._ pour le prix de 250'000 fr., soit à la valeur pour laquelle il était inscrit à son bilan au 30 septembre 2007. Ce transfert était lié à la reprise des engagements hypothécaires par la Banque D._, laquelle avait fait dépendre le refinancement de la condition que l'immeuble soit vendu à l'actionnaire.
Par décision du 18 juin 2008, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale des impôts ou l'autorité fiscale) a arrêté à 343'500 fr., soit 300 fr. le m2, l'assiette du droit de mutation dû par X._ du fait de cette acquisition. L'intéressé a formé une réclamation à l'encontre de ce prononcé.
B. Par courrier du 24 septembre 2008, l'Administration cantonale des impôts a informé X._ de ce qu'elle réformait la décision du 18 juin 2008 à son détriment, en portant l'assiette du droit de mutation à 572'500 fr., soit 500 fr. le m2. Le contribuable était invité à se déterminer sur le retrait ou le maintien de sa réclamation. X._ ayant opté pour son maintien, la réclamation a été rejetée par décision du 28 octobre 2008 et l'assiette du droit de mutation fixée au montant précité.
X._ a déféré ce prononcé à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal ou l'autorité précédente). Après avoir tenu une audience le 17 mai 2010 et procédé à une inspection locale de l'immeuble en cause, cette autorité a rejeté le recours par arrêt du 31 août 2010.
C. Agissant par la voie du recours en matière de droit public, X._ demande en substance au Tribunal fédéral, sous suite de frais et dépens pour les instances fédérale et cantonale, de réformer l'arrêt attaqué en ce sens que l'assiette du droit de mutation est fixée à 218 fr. le m2 - soit le prix stipulé dans l'acte notarié du 23 avril 2008 - et subsidiairement à 300 fr. le m2; à titre plus subsidiaire, il demande que le jugement entrepris soit annulé et le dossier renvoyé à l'autorité précédente afin qu'elle statue à nouveau dans le sens des considérants. A titre préalable, il demande que son recours soit doté de l'effet suspensif.
L'autorité précédente se réfère aux considérants de son arrêt. L'Administration cantonale des impôts conclut au rejet du recours dans la mesure de sa recevabilité. L'Administration fédérale des contributions s'en remet à justice.
Par ordonnance présidentielle du 6 octobre 2010, la requête d'effet suspensif a été rejetée.

Considérant en droit:
1. 1.1 Interjeté par une partie directement touchée par la décision attaquée et qui a un intérêt digne de protection à son annulation ou sa modification (cf. <ref-law>), le recours est dirigé contre un jugement final (cf. <ref-law>) rendu dans une cause de droit public (cf. <ref-law>) par un tribunal cantonal supérieur (cf. art. 86 al. 1 let. d et al. 2 LTF). Il est en principe recevable, puisqu'il a été déposé dans le délai et la forme prévus par la loi (cf. art. 42 et 100 al. 1 LTF) et que l'on ne se trouve pas dans l'un des cas d'exceptions mentionnés par l'<ref-law>.
1.2 Le droit de mutation litigieux est un impôt qui relève exclusivement du droit cantonal (cf. <ref-ruling> consid. 2b/aa p. 4). Sous réserve d'exceptions (cf. art. 95 let. c et d LTF) non réalisées en l'espèce, le Tribunal fédéral ne contrôle pas l'application du droit cantonal en tant que tel, mais examine uniquement si celle-ci viole le droit fédéral au sens de l'<ref-law>, qui comprend les droits constitutionnels des citoyens, dont l'interdiction de l'arbitraire (art. 9 Cst.). Lorsque, comme en l'occurrence, il est question de la violation de droits fondamentaux, le Tribunal fédéral n'examine pas le droit d'office, mais se prononce uniquement sur les griefs invoqués et motivés de façon suffisante par le recourant (cf. <ref-law>; <ref-ruling> consid. 5.2 p. 30 s.; <ref-ruling> consid. 1.4 p. 254).
En outre, s'agissant d'estimer la valeur vénale d'un bien, l'autorité cantonale dispose d'un certain pouvoir d'appréciation. Le Tribunal fédéral n'intervient que si cette autorité en fait un usage arbitraire, c'est-à-dire lorsqu'elle commet un excès ou un abus de ce pouvoir, qu'elle fonde sa décision sur une appréciation des preuves qui n'est pas soutenable ou qu'elle se laisse guider par des considérations qui n'importent manifestement pas ou ne sont à l'évidence pas déterminantes. Le Tribunal fédéral examine en outre si l'estimation n'est pas contraire à d'autres droits constitutionnels (cf. arrêt 2P.190/1994 du 10 juillet 1996 consid. 5).
2. 2.1 Selon l'art. 6 de la loi vaudoise du 27 février 1963 concernant le droit de mutation sur les transferts immobiliers et l'impôt sur les successions et donations (LMSD; RS/VD 648.11), le droit de mutation se calcule sur la valeur de l'immeuble y compris les accessoires (<ref-law>), ou sur celle du droit constitué, transféré ou éteint (al. 1). Les parties ont l'obligation d'indiquer dans l'acte le prix réellement convenu; celui-ci est présumé représenter la valeur de l'immeuble ou du droit (al. 2). Si la valeur de l'immeuble ou du droit n'est pas déterminée, ou si le prix convenu paraît inférieur à la valeur réelle, l'autorité de taxation l'apprécie sur la base des données qu'elle peut réunir (al. 5).
2.2 D'après la jurisprudence cantonale citée dans la décision attaquée, l'autorité fiscale peut, pour fixer l'assiette du droit de mutation, renverser la présomption de l'art. 6 al. 2 LMSD, de manière à s'écarter du prix convenu, conformément à l'art. 6 al. 5 LMSD. Elle doit pour ce faire établir, d'une part, que la transaction a été conclue sous l'empire de circonstances exceptionnelles et ne résulte ainsi pas d'un marché libre et, d'autre part, que le prix convenu diverge de la valeur vénale - terme ici synonyme de valeur du marché et de valeur réelle - de l'immeuble. La preuve en incombe à l'autorité fiscale et ne doit pas être admise trop facilement: dans la mesure où il permet de s'écarter du prix stipulé, l'art. 6 al. 5 LMSD a un caractère exceptionnel et doit par conséquent être appliqué de manière restrictive.
3. En l'occurrence, l'autorité précédente a estimé que le transfert de propriété litigieux s'était déroulé dans des circonstances particulières, qui n'étaient pas celles du marché libre. En effet, l'immeuble avait été transféré par la société anonyme à son actionnaire, à la demande de la banque qui avait refinancé l'emprunt hypothécaire. Le prix de vente avait été fixé à la valeur pour laquelle l'immeuble figurait à l'actif du bilan au 30 septembre 2007, soit 250'000 fr., et avait été acquitté par compensation avec le solde du compte-courant actionnaire, qui était, à la même date, de 277'426 fr. 33. L'autorité précédente a en outre estimé que le prix convenu, à savoir environ 218 fr. le m2, était inférieur à celui du marché. Elle s'est fondée à cet égard sur les résultats de son inspection locale et sur des transactions comparables. L'Administration cantonale des impôts avait en effet produit les copies caviardées de deux actes de vente datant respectivement de 2008 et 2009 et portant sur des immeubles non bâtis sis sur la commune du C._. Les prix étaient respectivement de 650 et 550 fr. le m2. L'autorité fiscale avait en outre fait état, dans ses déterminations du 15 juillet 2010, de la vente en 2008 et 2009 de plusieurs parcelles situées à proximité de celle du recourant, à des prix allant de 481 fr. 70 à 574 fr. le m2. Dans ces conditions, le Tribunal cantonal a considéré qu'il n'était pas arbitraire de retenir en la présente cause une valeur vénale de 500 fr. le m2 comme assiette du droit de mutation.
4. 4.1 Dans un grief formel qu'il convient d'examiner en premier lieu, le recourant dénonce une violation de son droit d'être entendu. Il fait valoir que les copies des deux actes de vente produits par l'Administration cantonale des impôts lors de l'audience du 17 mai 2010 sont fortement caviardées, de sorte qu'il n'est pas possible de déterminer les parcelles en cause. Les informations contenues dans les déterminations finales du 15 juillet 2010 auraient été fournies sans autre documentation. Il n'aurait ainsi pas été possible d'effectuer des comparaisons avec sa propre parcelle, raison pour laquelle il avait à plusieurs reprises (courriers des 22 juin et 29 juillet 2010 au Tribunal cantonal) demandé qu'il n'en soit pas tenu compte. L'autorité précédente aurait ignoré ces critiques. Elle n'aurait pas davantage pris en considération les pièces que le recourant a produites le 22 juin 2010 au sujet d'une transaction portant sur une parcelle de la commune du C._ dûment identifiée et vendue au prix de 197 fr. 40 le m2. La décision attaquée ne contiendrait aucune motivation à cet égard.
4.2 Le recourant ne dénonçant pas la violation d'une disposition cantonale relative au droit d'être entendu, les griefs soulevés doivent être examinés à la lumière des principes déduits de l'art. 29 al. 2 Cst.
Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend le droit pour l'intéressé de prendre connaissance du dossier, de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.3 p. 282; <ref-ruling> consid. 3.1 p. 277; <ref-ruling> consid. 3.2 p. 494). Le droit d'être entendu implique également pour l'autorité l'obligation de motiver son prononcé; celle-ci peut toutefois se limiter aux points essentiels pour la décision à rendre (<ref-ruling> consid. 3.3.1 p. 677; <ref-ruling> consid. 4.1 p. 88; <ref-ruling> consid. 3.1 p. 277).
Le droit d'être entendu peut être limité notamment par le secret fiscal (cf. p. ex. arrêt 2A.651/2005 du 21 novembre 2006 consid. 2, in RDAF 2007 II p. 140, RF 62/2007 p. 236) ou, s'agissant comme en l'espèce de données du registre foncier, par les restrictions d'accès à ces informations.
Sous le titre "Publicité du registre foncier/Communication de renseignements et consultation", l'<ref-law> distingue entre les données librement accessibles et les autres données. Aux termes de l'al. 2, toute personne a accès aux informations suivantes du grand livre: la désignation de l'immeuble et son descriptif (ch. 1), le nom et l'identité du propriétaire (ch. 2) et le type de propriété ainsi que la date d'acquisition (ch. 3). Ces données librement accessibles ne peuvent être obtenues qu'en relation avec un immeuble déterminé (Paul-Henri Steinauer, Les droits réels, tome premier, 4e éd., 2007, no 581). S'agissant des autres informations - au nombre desquelles figure le prix de vente -, l'al. 1 prévoit que celui qui fait valoir un intérêt a le droit de consulter le registre foncier ou de s'en faire délivrer des extraits. Il peut s'agir d'un intérêt de droit ou de fait, qui doit l'emporter sur l'intérêt opposé du propriétaire foncier concerné (<ref-ruling> consid. 4.3.1 p. 607).
4.3 S'agissant des deux actes de vente produits lors de l'audience du 17 mai 2010, seules certaines pages en ont été versées au dossier, dont les données qui auraient permis d'identifier les immeubles avaient été rendues illisibles; il n'était donc pas possible de déterminer les parcelles en cause. Il en va différemment des trois transactions dont l'Administration cantonale des impôts a fait état dans ses déterminations finales du 15 juillet 2010: ici, l'autorité fiscale a indiqué les numéros des parcelles, de sorte que le recourant pouvait connaître leur situation exacte, notamment en s'adressant au registre foncier ou en utilisant le moteur de recherche du "Guichet cartographique cantonal", à l'adresse www.geoplanet.vd.ch.
En outre, l'autorité précédente a tenu une audience et procédé à une inspection locale, à laquelle elle a accordé une importance particulière, si l'on en juge par la description qui est faite de la parcelle litigieuse dans la décision attaquée. Dans ces conditions, il y a lieu d'admettre que le droit d'être entendu du recourant a été respecté, même si l'on peut déplorer que l'autorité précédente ne se soit à aucun moment prononcée sur la pertinence de la transaction dont celui-ci s'est prévalu à titre de comparaison dans son courrier du 22 juin 2010.
5. Sur le fond, le recourant soutient d'abord que c'est de manière choquante et arbitraire que l'autorité précédente a admis que la transaction litigieuse ne résultait pas d'un marché libre. En effet, les juges cantonaux auraient ignoré les éléments démontrant le contraire, en se focalisant sur le mode de règlement du prix de vente (acquitté par compensation avec le solde du compte-courant actionnaire).
Il est douteux que cette argumentation satisfasse aux exigences de motivation de l'<ref-law>, étant rappelé qu'il ne suffit pas, au regard de cette disposition, d'affirmer que la décision attaquée est arbitraire - à savoir notamment qu'elle viole gravement une norme ou un principe juridique clair et indiscuté (<ref-ruling> consid. 1 p. 265 s.) -, mais qu'il faut rendre cela vraisemblable, en exposant précisément en quoi la décision est pareillement viciée.
Quoi qu'il en soit, le fait que la parcelle litigieuse a été vendue par la société anonyme à son actionnaire constitue à l'évidence une circonstance extraordinaire, de nature à renverser la présomption légale selon laquelle le prix stipulé équivaut à la valeur réelle. Sur ce point, la décision attaquée ne saurait donc être tenue pour arbitraire.
6. 6.1 Le recourant qualifie ensuite d'arbitraire le montant de 500 fr. le m2 retenu par l'autorité précédente comme valeur réelle constituant l'assiette du droit de mutation. Il fait valoir que l'Administration cantonale des impôts a d'abord calculé le droit de mutation sur la base d'un montant de 300 fr. le m2 (décision du 18 juin 2008), censé correspondre à une moyenne, et que c'est arbitrairement que l'assiette du droit a ensuite été portée à 500 fr. le m2. Il se prévaut également du montant arrêté par la Commission d'estimation fiscale, qui lierait l'autorité précédente.
6.2 La faculté de l'autorité fiscale de réformer la décision attaquée au détriment du contribuable (cf. art. 187 al. 2 de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux [LI; RS/VD 642.11], applicable par renvoi de l'art. 50 al. 3 LMSD) resterait lettre morte si celle-ci ne pouvait pas, dans un cas comme celui qui est à la base du présent arrêt, revoir à la hausse la valeur réelle initialement arrêtée. Sur ce point, le grief d'arbitraire est mal fondé.
Dans le canton de Vaud, l'estimation fiscale des immeubles est effectuée par une commission de district, qui procède conformément à la loi vaudoise du 18 novembre 1935 sur l'estimation fiscale des immeubles (LEFI; RS/VD 642.21). Le montant retenu par cette commission lie l'autorité de taxation s'agissant de l'impôt sur la fortune: l'art. 53 al. 1 LI, qui fait partie des dispositions régissant l'imposition de la fortune, renvoie à la LEFI pour ce qui est de l'estimation des immeubles (cf. aussi arrêt 2C_83/2009 du 8 mai 2009 consid. 1.2, in RF 64/2009 p. 760). Il en va différemment dans le cas particulier, où la LMSD ne contient pas un tel renvoi. Il n'est dès lors à tout le moins pas arbitraire de considérer qu'en l'espèce l'autorité précédente n'était pas liée par le montant retenu par la Commission d'estimation fiscale.
6.3 Le recourant conteste par ailleurs qu'une inspection locale constitue un mode de détermination de la valeur vénale. Il se borne toutefois à affirmer que la fixation de cette valeur sur la base d'une inspection locale ne trouve "aucun appui dans la loi [ni] dans la jurisprudence du Tribunal cantonal", sans présenter les dispositions cantonales pertinentes, ni exposer en quoi celles-ci auraient été interprétées ou appliquées de manière arbitraire. Ne satisfaisant manifestement pas aux exigences de motivation rappelées ci-dessus (consid. 1.2), le grief est irrecevable.
6.4 Au surplus, compte tenu notamment des transactions invoquées à titre de comparaison, ainsi que du résultat de l'inspection locale, il n'apparaît pas qu'en fixant la valeur réelle de la parcelle litigieuse à 500 fr. le m2, l'autorité précédente ait fait un usage arbitraire de son pouvoir d'appréciation.
7. Vu ce qui précède, le recours doit être rejeté dans la mesure où il est recevable.
Succombant, le recourant doit supporter un émolument judiciaire (cf. <ref-law>). Il n'y a pas lieu d'allouer des dépens (cf. art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Des frais judiciaires de 1'500 fr. sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au représentant du recourant, à l'Administration cantonale des impôts et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 23 mars 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Vianin