Faits:
A. S._, qui exploitait une entreprise en raison individuelle, a confié à la Fondation collective LPP Vaudoise Assurances (ci-après: la fondation) le soin de couvrir son personnel pour les risques vieillesse, survivants et invalidité en matière de prévoyance professionnelle. Les rapports entre les parties étaient notamment régis par une convention d'adhésion et un contrat d'assurance-vie collective n°X._ (effet au 1er janvier 1999) du 26 janvier 1999. A partir de 1999, la fondation a dressé chaque année des factures de primes d'assurance en fonction de la liste des salaires de l'entreprise que S._ lui transmettait.
Dans les années suivantes, le compte courant du contrat d'assurance collective n°X._ de S._ a présenté, au 31 décembre de chaque année concernée, un solde de primes impayées en faveur de la fondation. A trois reprises, les 8 mars 2000, 20 mars 2003 et 13 avril 2004, S._ et la fondation ont signé une convention de paiement, par laquelle ils reconnaissaient un solde de primes impayées respectivement de 65'310 fr. 60 au 31 décembre 1999, de 100'397 fr. 25 au 31 décembre 2002 et de 134'958 fr. 90 au 31 décembre 2003, chaque fois plus intérêts (à 5,5 % respectivement 5 %) dès le 1er janvier suivant.
Par courrier du 29 juin 2005, la fondation a résilié le contrat d'assurance-vie collective n°X._, entraînant la dénonciation de la convention d'adhésion. S._ a été informé qu'il devait s'affilier auprès d'une autre institution de prévoyance à compter du 1er juillet 2005 et prié d'indiquer à la fondation les mutations de personnel non encore annoncées, afin d'établir le décompte final. Le 4 juillet 2005, le prénommé a informé la fondation de la cessation de ses activités au 30 septembre 2005 et de l'impossibilité de transférer son personnel dans une autre caisse dans un délai si court. Le 28 octobre 2005, la Fondation collective LPP Swiss Life (ci-après: la fondation Swiss Life), qui avait repris avec effet au 1er janvier 2005 le portefeuille d'assurance-vie collectif de la fondation, a informé S._ par courriel que les primes impayées s'élevaient à 159'672 fr. 75 (solde, au 31 décembre 2004, de 104'529 fr. 85 plus intérêt à 5 % dès le 1er janvier 2005; primes du 1er janvier au 31 mars 2005 pour 31'173 fr. 70 et primes du 1er avril au 30 juin 2005 pour 23'969 fr. 20).
Après avoir mis l'intéressé en demeure de lui verser un solde de 119'601 fr. 65 relatif à la résiliation du contrat au 30 juin 2005, la fondation Swiss Life, en tant que mandataire de la fondation, a, le 14 mars 2007, fait notifier à S._ un commandement de payer pour ce montant, plus intérêt à 5 % dès le 16 novembre 2006. A la suite de l'opposition puis du recours formé par l'intéressé contre la mainlevée provisoire de l'opposition prononcée par le Juge de paix du district Y._, la Cour des poursuites et faillites du Tribunal cantonal vaudois a, le 2 octobre 2009, admis le recours et maintenu l'opposition contre le commandement de payer du 14 mars 2007.
B. Le 13 mai 2009, la fondation Swiss Life (qui avait entre-temps repris les actifs et passifs de la fondation par voie de fusion) a saisi la Cour des assurances sociales du Tribunal cantonal vaudois d'une demande, en concluant à ce que S._ soit condamné à lui verser, à titre principal, un montant de 159'672 fr. 75, plus intérêts de 5 % l'an depuis le 7 mars 2005 sur 107'930 fr. 65 et dès le 26 octobre 2006 sur la différence, et, subsidiairement, un montant de 119'601 fr. 65 plus intérêts de 5 % l'an dès le 26 octobre 2006.
Par jugement du 23 février 2011, le Tribunal cantonal vaudois, Cour des assurances sociales, a partiellement admis la demande, en ce sens que S._ doit payer à la fondation Swiss Life un montant de 119'601 fr. 65 plus intérêts à 5 % à compter du 26 octobre 2006.
C. S._ interjette un recours en matière de droit public contre ce jugement, dont il demande la réforme, subsidiairement l'annulation. Sous suite de frais et dépens, il conclut à ce que soit reconnu qu'il "ne doit aucune somme en capital, nominal et intérêt à la FONDATION COLLECTIVE LPP SWISS LIFE, respectivement la cause retournée à l'autorité judiciaire cantonale de dernière instance pour nouvelle instruction et nouveau jugement dans le sens des considérants à intervenir".
La fondation Swiss Life conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF). Par ailleurs, compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui.
2. 2.1 Se prononçant tout d'abord sur la conclusion principale de l'intimée en paiement de 159'672 fr. 75 réclamés au recourant à titre de primes d'assurance pour la prévoyance professionnelle jusqu'au 30 juin 2005, la juridiction cantonale a constaté que ce montant correspondait au solde, au 30 juin 2005, des décomptes établis par l'intimée qui se présentaient sous la forme d'un compte courant. Elle a retenu que les pièces au dossier ne permettaient pas de déterminer précisément le montant des primes (pour la période jusqu'au 30 juin 2005) selon les factures adressées au recourant, les salaires de chacun des employés ne constituant pas des éléments suffisants. Il n'était par conséquent pas possible de justifier le montant de 159'672 fr. 75 réclamé par l'intimée qui n'avait pas été reconnu par le recourant, de sorte que la conclusion principale de l'intimée était mal fondée.
2.2 En revanche, la juridiction cantonale a admis la conclusion subsidiaire du recours, tendant au paiement par le recourant de 119'601 fr. 65, plus intérêts à 5 % l'an dès le 26 octobre 2006. Elle a retenu que l'obligation de paiement du recourant reposait sur la convention du 13 avril 2004, qu'elle a qualifiée de reconnaissance de dette au sens de l'art 17 CO. Par cette convention, le recourant avait reconnu devoir à la fondation un montant de 134'958 fr. 90 en tant que solde au 31 décembre 2003 du contrat d'assurance-collective n°X._. Le recourant n'avait pas apporté la preuve que la cause de l'obligation mentionnée dans la reconnaissance de dette du 13 avril 2004 n'était pas valable, ni que cette dette avait été éteinte par paiement. Comme l'intimée, qui avait entre-temps repris les droits de la fondation, avait toutefois reconnu avoir reçu un paiement partiel laissant subsister un solde de 119'601 fr. 65 au 26 octobre 2006, le recourant était tenu de verser cette somme à la créancière.
2.3 Le recourant ne critique pas les considérations de la juridiction cantonale relatives au défaut de justification du montant de 159'672 fr. 75 que lui réclamait l'intimée à titre de primes d'assurance de la prévoyance professionnelle jusqu'au 30 juin 2005. Il n'y a donc pas lieu d'examiner ce point, ni du reste l'argumentation y relative de l'intimée, qui qualifie d'incompréhensible le raisonnement des premiers juges quant à l'impossibilité de vérifier le montant des primes d'assurance indiqué sur les factures envoyées au recourant, mais n'a pas recouru contre le jugement cantonal et le rejet de sa conclusion principale.
Au regard des griefs du recourant, qui portent exclusivement sur les considérations de la juridiction cantonale sur le solde des primes d'assurance au 31 décembre 2003 figurant dans la reconnaissance de dette du 13 avril 2004, seul est litigieux le point de savoir si le montant de 119'601 fr. 65 (plus intérêts à 5 % à compter du 26 octobre 2006) est dû par le recourant à l'intimée en vertu de ladite reconnaissance de dette. A ce sujet, le jugement entrepris expose de manière complète les règles légales et la jurisprudence applicables en l'espèce, de sorte qu'il suffit d'y renvoyer.
3. 3.1 Dans un premier moyen, le recourant soutient que la juridiction cantonale a violé son droit d'être entendu en refusant l'offre de preuve formulée en instance cantonale, à savoir la mise en oeuvre d'une expertise. Son grief n'a pas de portée propre par rapport à celui tiré d'une appréciation arbitraire des preuves qu'il invoque également. Le juge peut en effet renoncer à l'administration de certaines preuves offertes, lorsque le fait dont les parties veulent rapporter l'authenticité n'est pas important pour la solution du cas, que la preuve résulte déjà de constatations versées au dossier ou lorsqu'il parvient à la conclusion que ces preuves ne sont pas décisives pour la solution du litige, voire qu'elles ne pourraient l'amener à modifier son opinion. Le refus d'instruire ne viole le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (ATF 131 I 153 consid. 3 p. 157 et les arrêts cités). Le grief du recourant sera donc traité avec le fond du litige.
3.2 Invoquant une violation des art. 8 CC, 17 CO et 398 CO, ainsi que de l'interdiction de l'arbitraire et une appréciation arbitraire des preuves, le recourant conteste l'existence d'une reconnaissance de dette pour le montant de 134'958 fr. 90. Dès lors qu'il avait effectué différents paiements depuis le 13 avril 2004 et que la fondation avait fait valoir trois montants différents (159'672 fr. 75, 107'930 fr. 65 et 119'601 fr. 95), voire un quatrième (94'858 fr. 90), la reconnaissance de dette antérieure de 134'958 fr. 90 n'aurait aucune portée, la créancière s'en étant "écarté[e]".
3.2.1 Dans la mesure où le recourant entend contester la qualification de reconnaissance de dette de la convention de paiement du 13 avril 2004, son argumentation est mal fondée. Il ne démontre en effet pas et il n'apparaît pas non plus que la juridiction cantonale ait violé l'art. 17 CO (ou les autres dispositions citées par le recourant) en admettant que cette convention constituait une reconnaissance de dette.
3.2.2 En tant que le recourant invoque s'être acquitté de la dette de 134'958 fr. 90, puisqu'il avait versé quatre acomptes de 10'000 fr. chacun les 11 mai, 19 mai, 28 mai et 1er juin 2004, il s'en prend aux constatations de fait de la juridiction cantonale, dont le Tribunal fédéral ne peut s'écarter qu'aux conditions de l'art. 105 al. 2 LTF (consid. 1 supra). Sur ce point, les premiers juges ont constaté que l'intimée avait reconnu avoir reçu un paiement partiel laissant subsister un solde de 119'601 fr. 65 au 26 octobre 2006, de sorte que le recourant devait encore lui verser ce montant. De cette constatation, on peut déduire que l'autorité judiciaire de première instance a admis que le recourant avait, pour s'acquitter de la somme de 134'958 fr. 90 due au 31 décembre 2003, effectué "un paiement partiel" de 15'357 fr. 25 (134'958 fr. 90 - 119'601 fr. 65). Comme le fait valoir à juste titre le recourant, ce montant ne correspond cependant pas à celui qui résulte des pièces au dossier (que la juridiction cantonale a mentionnées sans en déduire un résultat concret, ni examiner en détail les paiements auxquels a procédé le recourant), ce qui revient à établir les faits de manière manifestement inexacte au sens de l'art. 105 al. 2 LTF.
Les premiers juges ont fait état d'un commandement de payer pour un montant de 94'858 fr. 90 plus intérêt et frais que la fondation avait fait notifier au recourant le 10 août 2004. Pour le détail de la créance, la fondation s'était référée à un montant de 134'858 fr. 90 plus intérêt à 5 % à compter du 1er janvier 2004, dont à déduire des acomptes au créancier de 10'000 fr. le 11 mai 2004, de 10'000 fr. le 19 mai 2004, de 10'000 fr. le 28 mai 2004 et de 10'000 fr. le 1er juin 2004. Elle n'avait cependant pas donné suite à la poursuite intentée, à laquelle le recourant n'avait pas formé opposition. Il ressort de ces constatations et des pièces sur lesquelles elles reposent que le recourant avait effectivement payé les quatre premiers acomptes pour un montant total de 40'000 fr. prévus par la reconnaissance de dette du 13 avril 2004 et que la fondation avait imputé ces paiements sur la dette arrêtée au 31 décembre 2003. Ceci est du reste confirmé par l'intimée dans sa réponse au recours, dans laquelle elle indique que le montant de 94'858 fr. 90 correspond au solde débiteur du compte pour le paiement de primes au 31 décembre 2003, de 134'858 fr. 90 (plus 100 fr. de frais de sommation), après déduction de quatre acomptes de 10'000 fr. chacun payés par le recourant les 11, 19 et 28 mai, ainsi que le 1er juin 2004, comme il ressort de l'annexe au commandement de payer du 10 août 2004. Par conséquent, on constate que le recourant a partiellement éteint la dette de 134'958 fr. 90, le solde restant étant de 94'958 fr. 90 compte tenu du versement échelonné de 40'000 fr. Dans la mesure où le recourant allègue un versement supérieur à ce montant, le renvoi qu'il fait à une lettre à la fondation du 2 décembre 2004 dans laquelle il indiquait que le compte courant auprès de celle-ci avait été alimenté par des versements de 130'000 fr. en 2004, ne suffit pas à démontrer qu'il a effectué des paiements supplémentaires.
En ce qui concerne le montant supérieur de 119'601 fr. 95 retenu par la juridiction cantonale, il correspond au solde restant de 94'958 fr. 90 (au 10 août 2004) auquel s'ajoute le solde des primes d'assurance facturées par l'intimée pour la période courant à partir du 1er janvier 2004. Selon les explications de l'intimée, le montant de 119'601 fr. 95 représente le solde de contributions en souffrance en avril 2005, plus les primes pour les derniers mois du contrat selon les factures des 2 avril et 2 juillet 2005. La différence entre le solde de la dette arrêtée au 10 août 2004, relative à la période jusqu'au 31 décembre 2003, et le montant de 119'601 fr. 95, soit 24'643 fr. 05, ne fait par conséquent pas l'objet de la reconnaissance de dette du 13 avril 2004 et porte sur une période pour laquelle la juridiction cantonale n'a précisément pas admis l'existence d'une cause juridique fondant une créance de l'intimée à l'égard du recourant. Dès lors que cette période et les considérations y relatives sortent du cadre du présent litige (consid. 2 supra), le Tribunal fédéral n'a pas à examiner si le montant de 24'643 fr. 05 serait éventuellement dû par le recourant en vertu d'une seconde reconnaissance de dette, comme le fait valoir l'intimée, laquelle résulterait selon elle d'un échange de correspondance avec le recourant (des 26 octobre 2006, 23 novembre 2006 et 15 janvier 2007). Il n'y a pas non plus lieu de donner suite à la mesure d'instruction requise par le recourant, qui apparaît superflue au regard du caractère complet du dossier de la cause.
3.3 En conséquence de ce qui précède, le recourant reste tenu de payer à l'intimée le montant de 94'958 fr. 90 en vertu de la reconnaissance de dette du 13 avril 2004, plus des intérêts à 5 % dès le 26 octobre 2006 (tels que fixés par la juridiction cantonale, sans que cet aspect du litige ne soit remis en cause par les parties).
Partant, le recours doit être partiellement admis et le jugement entrepris réformé, en ce sens que le recourant doit être condamné à verser à l'intimée le montant de 94'958 fr. 90 plus intérêts à 5 % dès le 26 octobre 2006.
4. Vu l'issue du litige, les frais de justice seront supportés pour quatre cinquièmes par le recourant et pour un cinquième par l'intimée. Le recourant, représenté par un avocat, a droit à une indemnité de dépens réduite à la charge de l'intimée pour la procédure fédérale.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis. Le ch. I. du dispositif du jugement de la Cour des assurances sociales du Tribunal cantonal du canton de Vaud du 23 février 2011 est réformé en ce sens que la demande déposée le 13 mai 2009 par la Fondation collective LPP Swiss Life est partiellement admise, en ce sens que S._ doit payer à la demanderesse un montant de 94'958 fr. 90 plus intérêts à 5 % à compter du 26 octobre 2006. Le recours est rejeté pour le surplus.
2. Les frais judiciaires, arrêtés à 5'000 fr., sont mis pour 4'000 fr. à la charge du recourant et pour 1'000 fr. à la charge de l'intimée.
3. L'intimée versera au recourant la somme de 1'000 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 14 décembre 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless