Faits : A. A.a. Le 9 juin 1998, X._ et Y._ AG (anciennement à Zurich, actuellement à A._, ci-après: Y._) ont créé une société simple dans le but d'acquérir, pour un montant de 9'100'000 fr., les parcelles nos ** et *** de la commune de B._ et de les exploiter. La quote-part de X._ dans la société simple s'élevait à 40%, celle de Y._ à 60%. Les parties ont prévu que seule Y._ devait être inscrite au registre foncier comme propriétaire de ces immeubles. A.b. Le 11 juin 1998, Y._ a obtenu d'une banque un prêt de 8'250'000 fr., garanti par deux hypothèques de premier rang grevant les immeubles en question. Le 30 juin 1998, elle a été inscrite au registre foncier en qualité de propriétaire de ces deux immeubles. A.c. Entre 1998 et 2006, X._, qui est domicilié à Zurich, a été imposé dans le canton de Vaud sur le rendement de sa fortune dans ce canton, notamment en relation avec sa participation dans la société simple. A.d. Le 20 décembre 2006, Y._ a vendu les deux immeubles au prix de 16'800'000 fr. Le même jour, les associés de la société simple ont décidé de liquider celle-ci. Y._ a ainsi versé à X._, pour solde de tout compte, un montant de 2'300'000 fr., provenant du produit de la vente des immeubles de B._. B. B.a. Le 21 mai 2010, l'Office d'impôt du district de la Riviera-Pays-d'Enhaut (ci-après: l'Office d'impôt) a notifié à X._ une décision de taxation concernant l'impôt sur le revenu et la fortune pour l'année 2006. Cette décision fixait le revenu imposable dans le canton de Vaud à 2'205'200 fr., dont 1'948'800 fr. (art. 105 al. 2 LTF) en lien avec le revenu net imposable provenant de la vente des immeubles de B._, et la fortune imposable à 5'999'000 fr. Il en résultait un montant total d'impôt cantonal et communal (ci-après: ICC) de 706'082 fr. 10. L'impôt fédéral direct (ci-après: IFD) dû par X._ pour l'année 2006 a fait l'objet d'une procédure de taxation dans le canton de Zurich, actuellement suspendue dans l'attente de l'issue de la présente cause. Par décision du 22 octobre 2013, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) a rejeté la réclamation formée par X._ contre la décision de taxation du 21 mai 2010. B.b. Le 9 février 2015, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours interjeté par le contribuable contre la décision sur réclamation du 22 octobre 2013. Les juges cantonaux ont retenu, en substance, que le canton de Vaud était compétent pour imposer X._ sur le bénéfice provenant de l'aliénation des deux immeubles en question. En outre, le gain réalisé par l'intéressé lors de cette opération devait être imposé au titre de revenu d'une activité indépendante et ne pouvait pas être soumis à l'impôt spécial sur les gains immobiliers. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal du 9 février 2015 et de recalculer le montant de l'ICC pour l'année 2006, en déduisant du revenu imposable le montant de 2'097'571 fr. retenu à titre de revenu d'une activité indépendante. Subsidiairement, il conclut au renvoi de la cause à l'Administration cantonale pour qu'elle procède en ce sens. Plus subsidiairement encore, dans l'éventualité où il se verrait imputer une activité de commerçant professionnel d'immeubles, X._ demande à la Cour de céans d'annuler l'arrêt attaqué et d'effectuer un nouveau calcul de l'ICC, en fixant le revenu provenant de cette activité à 0 fr., respectivement de renvoyer la cause à l'Administration cantonale pour qu'elle agisse de la sorte. L'Administration cantonale dépose des observations et conclut au rejet du recours. L'Administration fédérale des contributions se rallie aux déterminations de l'Administration cantonale et propose le rejet du recours. Le Tribunal cantonal renonce à déposer une réponse et se réfère aux considérants de son arrêt. Le recourant a répliqué.