Faits:
A. V._ est affilié auprès de la Caisse cantonale vaudoise de compensation (ci-après: la caisse) en qualité de personne exerçant une activité indépendante dans le commerce immobilier depuis le 1er janvier 1978. Par deux décisions successives des 27 juillet et 14 décembre 2006, la caisse a fixé les cotisations de l'assurance-vieillesse et survivants (AVS) dues par l'assuré à 155'069 fr. 80 pour l'année 2003 et à 190'923 fr. 05 pour l'année 2004, en fonction du gain immobilier professionnel brut et des revenus locatifs bruts communiqués par l'Office d'impôt du district X._.
Après que l'intéressé s'est opposé à ces décisions, la caisse a rendu une décision rectificative le 12 mars 2007, par laquelle il a annulé et remplacé ses précédents prononcés et fixé les cotisations à 134'036 fr. 80 pour 2003 et à 170'513 fr. 65 pour 2004, compte tenu de deux communications rectificatives de l'autorité fiscale selon lesquelles les revenus avaient été revus à la baisse. Le 2 avril 2007, l'administration a confirmé sa décision du 12 mars précédent.
B. Statuant le 7 février 2008 sur le recours formé par l'assuré contre la décision sur opposition, le Tribunal des assurances du canton de Vaud l'a rejeté.
C. V._ interjette un recours en matière de droit public contre le jugement cantonal, dont il demande l'annulation, en concluant au renvoi du dossier à la caisse pour nouvelle décision "dans le sens des considérants".
La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>).
2. Le litige porte sur le point de savoir si les revenus réalisés par le recourant en 2003 et 2004 au titre de revenus locatifs d'immeubles dont il est le propriétaire doivent être considérés comme des revenus d'une activité lucrative indépendante - et soumis en tant que tels à cotisations - ou s'ils relèvent de la gestion de fortune privée. Il s'agit d'une question de droit sur laquelle le Tribunal fédéral se prononce avec un plein pouvoir d'examen (<ref-law>; <ref-ruling> consid. 2 p. 252).
3. 3.1 Le jugement entrepris expose correctement les règles légales sur la notion de revenu provenant d'une activité indépendante à prendre en considération (<ref-law>, 17 RAVS ). Il suffit d'y renvoyer.
3.2 On ajoutera que la simple gestion de fortune privée ne constitue pas une activité indépendante au sens des <ref-law> et 17 RAVS, de sorte que le revenu du capital net qui en résulte n'est pas soumis à cotisation. Il en va de même des gains provenant de la fortune privée qui ont été réalisés en tirant profit d'une occasion qui se présentait par hasard. En revanche, les gains en capital résultant de la vente ou de la réalisation d'éléments du patrimoine privé, tels que titres ou immeubles, constituent des revenus provenant d'une activité lucrative indépendante même pour des entreprises (individuelles) non astreintes à tenir une comptabilité si et dans la mesure où ils reposent sur une activité commerciale exercée à titre professionnel (<ref-ruling> consid. 3.1 p. 252 s.; <ref-ruling> consid. 2a p. 385).
3.3 Par ailleurs, les caisses de compensation, sans être liées par la communication fiscale, doivent examiner au regard du droit de l'AVS qui est tenu de payer des cotisations pour des revenus dont l'autorité fiscale a fait état. Toutefois, les caisses de compensation doivent en général se fier aux communications des autorités fiscales pour la qualification du revenu et ne procéder à leurs propres investigations que lorsqu'il y a des doutes sérieux quant à leur exactitude (<ref-ruling> consid. 3.3 p. 253 s. et les arrêts cités).
4. 4.1 La juridiction cantonale a retenu que les immeubles dont les revenus sont en cause pour les années 2003 et 2004 appartenaient à la fortune commerciale du recourant; celui-ci n'avait pas établi avoir transféré les immeubles concernés dans sa fortune privée. Dès lors, le produit de ces immeubles devait être qualifié de revenu d'une activité indépendante, le fait que le recourant avait mandaté une gérance ne suffisant pas pour conclure qu'il s'agissait de la gestion d'immeubles privés.
4.2 Sans contester que les immeubles dont les revenus locatifs font l'objet de la qualification litigieuse n'ont pas été transférés dans sa fortune privée, le recourant fait valoir que l'affectation fiscale des immeubles n'est pas déterminante. Selon lui, les organes de l'assurance sociale ne peuvent se contenter de reprendre la qualification fiscale des éléments de fortune pour soumettre à cotisations les revenus y afférents, mais doivent examiner de manière indépendante si ceux-ci représentent un revenu provenant d'une activité indépendante ou un rendement de la fortune privée. Dès lors que les revenus locatifs en cause proviendraient d'appartements non meublés, dont le but est un placement à long terme et que la gérance a été confiée à une régie immobilière, il s'agirait du produit d'immeubles "de nature privée" lié à la simple administration de la fortune privée.
5. 5.1 Dans un arrêt récent (<ref-ruling>), le Tribunal fédéral a examiné de manière détaillée la qualification sous l'angle de l'AVS du revenu locatif provenant d'immeubles appartenant à la fortune commerciale, en considérant ce qui suit.
Selon l'art. 18 al. 2, troisième phrase LIFD, la fortune commerciale comprend tous les éléments de fortune qui servent, entièrement ou de manière prépondérante, à l'exercice de l'activité lucrative indépendante. La notion de fortune commerciale en droit fiscal suppose donc la réunion de deux éléments constitutifs: d'une part, une activité indépendante et, d'autre part, le fait que l'élément de fortune en question sert effectivement à l'exercice de l'activité lucrative. Du point de vue du droit des assurances sociales, il n'y a aucune raison de nier le rapport entre la fortune commerciale et l'activité indépendante; par définition, il n'est pas possible de considérer que le produit provenant de la gestion de la fortune commerciale constitue un revenu de l'administration de la fortune privée. Il résulte en particulier de l'<ref-law> que, de même qu'en droit fiscal, il existe du point de vue de la perception des cotisations de l'AVS un lien entre la fortune commerciale et l'activité indépendante. Conformément à cette disposition, les bénéfices réalisés lors du transfert d'éléments de fortune au sens de l'<ref-law> sont soumis à cotisations et constituent donc un revenu d'une activité lucrative indépendante. Il ne serait dès lors pas compréhensible que les revenus résultant de la location d'immeubles faisant partie de la fortune commerciale ne tombent pas sous le coup de l'obligation de cotiser à l'AVS, alors que dans le cas d'un transfert de ces avoirs immobiliers dans la fortune privée, les gains en provenant seraient soumis à cotisations (<ref-ruling> consid. 4.2 p. 254 s. et les références).
Par ailleurs, en rapport avec le revenu provenant du commerce et de la location d'immeubles, le Tribunal fédéral des assurances a jugé que le principe de l'assujettissement parallèle du gain sur la fortune et du revenu de la fortune, lorsqu'il y a lieu d'admettre qu'il s'agit de la fortune commerciale, est obligatoire (arrêt H 210/06 du 22 juin 2007 consid. 6.3 et arrêt du Tribunal fédéral des assurances H 36/03 du 7 juin 2004 consid. 6.5 et les références). Dès lors que le transfert d'actifs de la fortune commerciale à la fortune privée est souvent assimilé à une aliénation (<ref-law>), il convient, compte tenu du principe de l'assujettissement parallèle, de traiter de la même manière, du point de vue du droit des contributions fiscales, les revenus locatifs réalisés avant ce transfert que le gain obtenu par celui-ci (<ref-ruling> consid. 4.2 p. 255 et les références).
De ces considérations, le Tribunal fédéral a déduit que le revenu locatif provenant d'immeubles appartenant à la fortune commerciale constitue un revenu provenant d'une activité indépendante qui est soumis aux cotisations AVS. S'il est établi que les immeubles appartiennent à la fortune commerciale, il n'est pas nécessaire d'examiner en plus si la location constitue ou non une activité indépendante. La réponse à cette question découle déjà de l'affectation des immeubles à la fortune commerciale (<ref-ruling> consid. 4.3 p. 255).
5.2 5.2.1 La juridiction cantonale a considéré en l'occurrence que les immeubles du recourant dont les revenus sont en cause appartenaient à la fortune commerciale de celui-ci.
Sans remettre en cause le fait que ces immeubles constituent, du point de vue fiscal, des éléments de la fortune commerciale, le recourant soutient en revanche qu'ils feraient partie de sa fortune privée "en ce qui concerne les assurances sociales", dès lors qu'ils auraient été construits ou maintenus dans un but de placement et qu'il n'aurait pas l'intention de les vendre.
5.2.2 Selon les constatations des premiers juges, qui lient le Tribunal fédéral (cf. <ref-law>), les immeubles en question faisaient partie des actifs commerciaux du recourant et avaient été acquis dans le cadre de l'exercice de son activité commerciale immobilière, qu'il poursuivait encore en 2003 et 2004. Avec la juridiction cantonale, on doit déduire de ces circonstances que les immeubles constituaient des éléments de la fortune commerciale du recourant, puisqu'il s'agissait de biens servant à l'exercice de son activité professionnelle indépendante de promoteur immobilier et que le recourant les avait déclarés dans sa fortune commerciale.
Le recourant fait certes valoir qu'il n'a nulle intention de se dessaisir de ces immeubles. Cette allégation n'est cependant pas déterminante, dans la mesure où la volonté subjective du recourant ne s'est pas répercutée dans des indices ou critères pouvant faire l'objet d'une constatation objective (arrêt [du Tribunal fédéral des assurances] H 127/97 du 30 avril 1998 consid. 4c, non publié in <ref-ruling>). Aussi, l'argumentation du recourant n'est-elle pas suffisante pour s'écarter de la qualification retenue par la juridiction cantonale à la suite de l'intimée, ni, au demeurant, pour mettre sérieusement en doute l'exactitude des communications fiscales sur lesquelles s'est fondée l'intimée (cf. consid. 3.3 supra). A cet égard, le recourant affirme "l'indépendance" des organes de l'assurance sociale en citant des exemples tirés de la jurisprudence, sans établir ou même rendre vraisemblable en quoi les données fiscales seraient erronées dans son propre cas.
5.3 Cela étant, il résulte de la jurisprudence exposée ci-avant (consid. 5.1 supra) que les revenus locatifs litigieux constituent des revenus soumis à cotisations. Il s'agit en effet du produit réalisé par la location d'immeubles appartenant à la fortune commerciale du recourant, sans qu'il y ait lieu d'examiner plus avant si la location constitue une activité lucrative indépendante. De même, la différence entre les revenus provenant d'appartements non meublés et ceux réalisés par la location d'appartements meublés, invoquée par le recourant, ne joue pas de rôle, dès lors que les revenus en cause constituent le produit de la fortune commerciale au sens de l'<ref-ruling>.
Pour le surplus, dans la mesure où l'argumentation du recourant repose pour l'essentiel sur le fait qu'il ne déploierait aucune activité personnelle en relation avec la location des immeubles en question, elle ne tient pas compte de la récente jurisprudence et n'est dès lors pas pertinente. Quant à l'affirmation selon laquelle l'affectation (fiscale) des immeubles (dans la fortune commerciale) ne serait pas déterminante, elle ne suffit pas, comme on l'a vu, à remettre en cause l'exactitude des données fiscales auxquelles s'est référée l'intimée.
Au demeurant, on peut ajouter qu'au regard du nombre d'immeubles dont il est question - cinq immeubles détenus par le recourant, mais non affectés à son usage personnel, selon ses indications - et la somme des loyers (bruts) réalisés (2'391'173 fr. en 2003 et 2'543'674 fr. en 2004, selon les communications fiscales), l'activité liée à la location dépasse en tant que telle le cadre de ce qui peut être considéré comme de la simple gestion de fortune (comp. arrêt du Tribunal fédéral des assurances H 273/96 du 11 février 1997, publié in Pra 1997 n° 80 p. 409).
6. En conséquence de ce qui précède, le recours est mal fondé.
7. Compte tenu de l'issue du litige, les frais de justice doivent être supportés par le recourant qui succombe (art. 66 al. 1 en relation avec l'<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 8000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 28 novembre 2008
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Moser-Szeless