Faits:
A. H._, médecin généraliste, exploite un cabinet à Y._. A partir du 1er juin 1993, il a assuré ses employées pour la prévoyance professionnelle auprès de la Fondation collective LPP de la Rentenanstalt [aujourd'hui : Fondation collective LPP Swiss Life] (ci-après : la Fondation).
Dans le courant de l'année 2003, H._, qui avait toujours payé régulièrement les primes réclamées par la Fondation, a contesté la base de calcul de celles-ci, en demandant que la totalité du montant de coordination soit déduite du salaire assuré de ses employées quel que soit leur taux d'occupation. La Fondation a accepté de calculer les primes sur cette base à partir du 1er janvier 2003, mais a refusé de recalculer les primes échues et payées pour les années antérieures.
H._ a actionné la Fondation devant la Cour des assurances sociales du Tribunal administratif du canton de Fribourg (aujourd'hui : Cour des assurances sociales du Tribunal cantonal du canton de Fribourg), qui, par jugement du 19 octobre 2006, a rejeté l'action. Après avoir admis que c'était à tort que la Fondation avait calculé les primes en tenant compte d'un montant de coordination proportionnel au taux d'activité, elle a débouté H._ de ses conclusions, estimant que ses prétentions étaient prescrites. Celui-ci a interjeté un recours de droit administratif contre ce jugement, dont il a demandé l'annulation, contestant que la prescription ait été acquise.
Par arrêt du 11 juin 2007, le Tribunal fédéral a admis le recours, annulé le jugement cantonal et renvoyé la cause à la juridiction cantonale pour compléments d'instruction et nouveau jugement. Il a en particulier reconnu que c'était à juste titre que la juridiction cantonale avait admis que le calcul des primes devait être fait en tenant compte de la totalité du montant de coordination sans égard au taux d'occupation. Il a également confirmé que la restitution des cotisations éventuellement payées en trop devait être demandée sur la base de l'enrichissement illégitime. Appréciant les conditions de celui-ci, le Tribunal fédéral a retenu que H._ avait payé une partie des cotisations par erreur et qu'il pouvait donc en demander la restitution. Enfin, l'autorité de céans a constaté que les éléments du dossier ne permettaient pas de déterminer le point de départ de la prescription, raison pour laquelle il a retourné la cause à la juridiction cantonale.
B. Reprenant l'instruction de l'affaire, l'autorité précédente a demandé la production des décomptes de primes de 1993 à 2002. Par jugement du 17 mars 2011, elle a constaté que les éventuelles différences de primes concernaient trois employées, à savoir A._, B._ et C._. Après calcul, elle a fixé les cotisations versées en trop à 4'646 fr. 50 pour A._, à 297 fr. pour C._ et à 875 fr. 90 pour B._, soit au total 5'819 fr. 40. Elle a admis que le délai d'un an pour faire valoir ses prétentions n'était pas échu lorsque H._ avait introduit son action en justice, si bien que la prescription n'était pas acquise. Enfin, elle a retenu que les trois collaboratrices concernées avaient obtenu le versement de leur prestation de libre passage en 1999 pour B._ et en 2002 pour les deux autres. Partant de ce constat, elle a rejeté la demande de H._ estimant que la Fondation n'était plus enrichie au moment de la répétition et qu'elle ne s'était pas dessaisie de ces montants de mauvaise foi. En conséquence, l'objection d'absence d'enrichissement au moment de la répétition était recevable, ce qui excluait une restitution en application de l'art. 64 CO.
C. H._ interjette un recours en matière de droit public contre ce jugement, en concluant, sous suite de frais et dépens, à ce qu'il soit réformé en ce sens que la Fondation est condamnée à lui verser un montant de 5'819 fr. 40.
La Fondation collective LPP Swiss Life conclut à ce que le jugement cantonal soit confirmé. L'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente ; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. ATF 130 III 136 consid. 1.4 p. 140).
2. Est litigieuse la question de savoir si la Fondation peut se prévaloir du fait qu'elle n'est plus enrichie (art. 64 CO) pour refuser de restituer des cotisations qu'elle a perçues indûment. En instance fédérale, le recourant a admis que le montant des cotisations indûment perçues par l'intimée et susceptibles de faire l'objet d'une restitution, était de 5'819 fr. 40.
3. 3.1 Le Tribunal fédéral est lié par les faits constatés par les premiers juges (art. 105 al. 1 LTF), à moins qu'ils n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF. Dans ce cas, il peut rectifier ou compléter les faits d'office (art. 105 al. 2 LTF). La constatation manifestement inexacte des faits en instance précédente, qui est une des conditions alternatives pour permettre au Tribunal fédéral de rectifier ou compléter les faits d'office, vise en réalité un cas particulier d'arbitraire (ATF 135 II 145 consid. 8.1 p. 153 ; 135 III 127 consid. 1.5 p. 130 ; 134 V 53 consid. 4.3 p. 62). S'agissant de l'appréciation des preuves et des constatations de fait, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en retient des constatations insoutenables (ATF 129 I 8 consid. 2.1 p.9).
3.2 En l'espèce, la juridiction cantonale a retenu que l'intimée avait versé à A._ sa prestation de libre passage en 2002 (jugement consid. 4b/bb, page 8). Or, il ressort des pièces du dossier que la sortie de cette employée a eu lieu au 31 décembre 2005 (Contrat X._). Ce fait est confirmé par la liste des personnes assurées dans le cadre du contrat X._, qui précise que A._ est assurée à 60 % dès le 1er janvier 2001, attestation établie le 28 juillet 2005. C'est donc de façon manifestement inexacte que la juridiction cantonale a retenu que A._ avait obtenu sa prestation de libre passage en 2002. Cet élément de fait a une importance significative pour juger de la présente affaire dans la mesure où la juridiction cantonale a retenu que l'intimée n'était plus enrichie au moment de l'introduction de la demande du recourant le 6 mai 2004, alors qu'en réalité le versement du libre passage n'a eu lieu qu'en 2005, soit bien après cette date.
4. 4.1 Le recourant semble se prévaloir d'une violation de l'art. 107 al. 2 LTF par la juridiction cantonale. Il lui reproche d'être entrée en matière sur l'argument de l'intimée tendant à constater l'absence d'enrichissement au moment de la restitution, alors que le Tribunal fédéral, dans son arrêt du 11 juin 2007, n'avait renvoyé que pour examiner la question de la prescription.
4.2 C'est à tort que le recourant conteste à l'intimée la possibilité de se prévaloir de l'art. 64 CO dans la procédure qui a eu lieu suite à l'arrêt du 11 juin 2007. En effet, même si le renvoi tendait à l'élucidation de la question de la prescription, l'autorité de jugement, qui constate que les prétentions du recourant ne sont pas prescrites, doit examiner les autres conditions de l'action en enrichissement, y compris les objections que peut faire valoir le débiteur de l'action, en particulier l'absence d'enrichissement ou le dessaisissement de bonne foi.
C'est donc à juste titre que la juridiction est entrée en matière sur l'objection de l'intimée, faite dans sa prise de position du 21 mai 2010.
5. 5.1 Selon l'art. 64 CO, il n'y a pas lieu à restitution dans la mesure où celui qui a reçu indûment établit qu'il n'est plus enrichi lors de la répétition; à moins cependant qu'il ne se soit dessaisi de mauvaise foi de ce qu'il a reçu ou qu'il ait dû savoir, en se dessaisissant, qu'il pouvait être tenu à restituer. La situation de fortune de l'enrichi est celle qui prévaut lors de la répétition (ATF 87 II 137 consid. 7d p. 142).
5.2 La juridiction cantonale a retenu que l'intimée n'était plus enrichie au moment de la répétition et qu'elle ne s'était pas dessaisie de mauvaise foi dans la mesure où les prestations de libre passage ont été versées avant même le dépôt de l'action et la réception du premier courrier du demandeur en juin 2003, qui était de nature, selon les règles de la bonne foi, à empêcher l'intimée de se prévaloir d'une absence d'ignorance fautive.
Le recourant s'est limité à reprocher à la juridiction cantonale de ne pas avoir déterminé les pièces du dossier sur lesquelles elle s'est fondée.
5.3 Comme cela ressort du considérant 3.2 (ci-dessus) du présent arrêt, c'est à tort que la juridiction a admis qu'une prestation de libre passage avait été faite en faveur de A._ en 2002. En réalité, cette prestation a très certainement été versée après le 31 décembre 2005, date de la résiliation du contrat de prévoyance. Concernant le moment de la répétition, qui est déterminant pour fixer la situation de fortune, il faut retenir en l'espèce la date de réception par l'intimée de la lettre du 6 juin 2003 provenant de la fiduciaire du recourant.
A cette date, l'intimée s'était déjà dessaisie des prestations de libre passage de C._ et de B._. Par contre, elle était toujours en possession de la prestation de libre passage de A._. Dans ces conditions, elle ne peut plus se prévaloir d'un dessaisissement de bonne foi et partant être exemptée de restituer en application de l'art. 64 CO.
Au vu de ce qui précède, il y a lieu d'admettre que l'intimée doit donc restituer au recourant la somme de 4'646 fr. 50, perçue en trop selon le contrat de prévoyance. Ce montant n'est plus contesté.
6. 6.1 En matière de prévoyance professionnelle, il est admis que des intérêts moratoires sont dus par le débiteur en demeure. La demeure survient par l'interpellation (art. 102 al.1 CO), soit, dans le cadre des art. 62 ss CO, par la déclaration du créancier manifestant clairement sa volonté de se voir restituer l'indu. La date de réception de cette déclaration de volonté est déterminante. Par ailleurs, à défaut de dispositions réglementaires topiques, le taux d'intérêt moratoire est de 5 % conformément à l'art. 104 al. 1 CO (ATF 130 V 414 consid. 5.1 p. 421).
6.2 Par lettre du 20 août 2010, le recourant a demandé le versement d'un intérêt à 5 % dès le 6 mai 2004.
Même si l'on peut constater que le recourant avait déjà informé l'intimée de son intention d'obtenir le remboursement des cotisations indûment perçues, respectivement d'en opérer compensation avec des cotisations à venir, par sa lettre du 6 juin 2003, le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il y a dès lors lieu de faire partir les intérêts du dépôt de la demande le 6 mai 2004.
7. Sur le vu de ce qui précède, le recours doit être partiellement admis dans la mesure où l'intimée doit restituer au recourant la somme de 4'646 fr. 50, avec intérêts à 5 % dès le 6 mai 2004.
L'intimée, qui succombe dans une large mesure, doit supporter les frais de la procédure (art. 66 al. 1 LTF) et verser une indemnité de dépens au recourant (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis et le jugement de la Cour des assurances sociales du Tribunal cantonal du canton de Fribourg du 17 mars 2011 est annulé. H._ a droit à la restitution par la Fondation collective LPP Swiss Life d'un montant de 4'646 fr. 50, avec intérêts à 5 % dès le 6 mai 2004.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimée.
3. L'intimée versera au recourant la somme de 2'800 fr. (y compris la taxe sur la valeur ajoutée) à titre de dépens pour la dernière instance.
4. La cause est renvoyée à la Cour des assurances sociales du Tribunal cantonal du canton de Fribourg, pour nouvelle décision sur les dépens de la procédure antérieure.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 13 décembre 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Wagner