Faits: A. X._ Sàrl, dont le but est l'exploitation d'un cabinet de physiothérapie, a été inscrite au registre du commerce en 2001. Ses associés gérants et deux seuls employés sont P._ et G._. Désireuse d'assurer son personnel pour la prévoyance professionnelle avec effet rétroactif au 1er janvier 2003, la société s'est approchée en 2004, par l'intermédiaire de Z._ SA, de la Fondation de prévoyance Y._. Le 19 juin de cette année, elle a rempli un « contrat d'adhésion » et « un procès-verbal d'élection de la commission de prévoyance », qui ont été reçus le 19 août suivant par V._, en tant que mandataire de la Fondation de prévoyance Y._. Pour leur part, P._ et G._ ont rempli le 30 juin 2004 une demande d'« inscription pour l'adhésion à la prévoyance professionnelle ». A la même date, le prénommé a complété un formulaire intitulé « Renseignement personnel pour la prévoyance professionnelle », dans lequel il a indiqué qu'il devait subir une hospitalisation ou une opération en raison de problèmes à la hanche mais qu'aucun diagnostic définitif n'avait été établi. L'ensemble de ces documents a été reçu par V._ le 5 juillet ou le 19 août 2004. Le 3 septembre 2004, V._ a envoyé à Z._ SA une lettre accompagnée d'un bulletin de versement de 41'359 fr., indiquant que cette somme correspondait à la prime rétroactive pour la période courant du 1er janvier 2003 au 30 septembre 2004 et devait être versée avant l'enregistrement du contrat. Par courrier du 27 septembre 2004, Z._ SA a transmis ces informations à X._ Sàrl, qui s'est acquittée du montant précité le 11 octobre 2004. Par télécopie du 15 novembre 2004, P._ a signalé à V._ qu'il allait reprendre le travail à 100 % le 29 du mois courant. Le 30 novembre 2004, il a rempli une nouvelle « inscription pour adhésion à la prévoyance professionnelle ». V._ a informé Z._ SA par lettre du 18 mars 2005 qu'elle ne pouvait pas donner une suite favorable à la demande d'adhésion à la Fondation de prévoyance Y._ présentée par X._ Sàrl et qu'elle restituerait à cette dernière la somme de 41'359 fr. Le remboursement a eu lieu le 27 juin 2006. B. Le 19 mars 2010, X._ Sàrl a ouvert action contre la Fondation de prévoyance Y._ devant le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, concluant à ce qu'il soit constaté qu'elle était affiliée auprès de celle-ci avec effet rétroactif au 1er janvier 2003. Le tribunal cantonal a rejeté la demande par jugement du 16 février 2012. C. X._ Sàrl interjette un recours en matière de droit public contre ce jugement en concluant à sa réforme dans le sens des conclusions prises dans son mémoire de demande, éventuellement au renvoi de la cause à la juridiction cantonale pour nouveau jugement. La Fondation de prévoyance Y._ conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales et la Fondation Institution supplétive ont renoncé à se déterminer. D. La IIe Cour de droit social a tenu une délibération publique le 14 mai 2013.