Faits: Faits: A. A.a M._, né le 13 juillet 1968, a été engagé dès le 16 janvier 1995 par l'entreprise S._ SA en qualité d'ouvrier spécialisé dans les travaux spéciaux. Il a été affilié à la Caisse de retraite professionnelle de l'industrie vaudoise de la construction. Le 31 janvier 1995, M._ a été victime d'un accident professionnel, à la suite duquel il a présenté une incapacité totale de travail jusqu'au 7 mai 1995, de 50 % du 8 au 28 mai 1995 et de 25 % du 29 mai au 18 juin 1995. Il a repris son activité. Son cas a été pris en charge par la Caisse nationale suisse d'assurance en cas d'accidents (CNA). A partir du 1er mai 1997, M._ a été à nouveau à l'arrêt de travail. Par décision du 1er novembre 1999, l'Office cantonal AI du Valais lui a alloué un quart de rente ordinaire à partir du 1er mai 1998. En dernière instance, par arrêt du 24 avril 2002, le Tribunal fédéral des assurances a annulé cette décision et a renvoyé le dossier à l'office AI pour instruction complémentaire et nouvelle décision. Par décision du 16 juin 2004, l'office AI lui a alloué une rente entière d'invalidité dès le 1er mai 1998, une demi-rente du 1er octobre au 31 décembre 2003 et trois-quarts de rente depuis le 1er janvier 2004 pour un taux d'invalidité de 62 %. A.b La Caisse de retraite avait alloué à M._ à partir du 1er janvier 2000 un quart de rente d'invalidité de 5'445 fr. par année, assorti d'un quart de rente d'enfant pour son fils F._ de 756 fr. par année et, dès le 1er avril 2002, d'un quart de rente de même montant pour sa fille Tania. Le montant des rentes de l'office AI a été communiqué à la Caisse de retraite. Dans un décompte du 6 avril 2004, elle a fixé la limite de surindemnisation à 4'537 fr., montant correspondant au 90 % du gain mensuel présumé perdu. Par lettre du 7 avril 2004, elle a avisé M._ qu'il y avait surindemnisation et qu'elle supprimait ses prestations pour ce motif. Elle lui réclamait la restitution de toutes les prestations versées du 1er janvier 2000 au 30 avril 2004, d'un montant de 28'447 fr., ce que celui-ci a refusé en contestant le calcul de la surindemnisation. Dans la poursuite n° ...., l'Office des Poursuites et Faillites de M._ a notifié le 16 décembre 2005 un commandement de payer la somme de 28'447 fr. à M._, lequel a fait opposition totale. Dans la poursuite n° ...., l'Office des Poursuites et Faillites de M._ a notifié le 16 décembre 2005 un commandement de payer la somme de 28'447 fr. à M._, lequel a fait opposition totale. B. Le 22 juin 2006, la Caisse de retraite professionnelle de l'industrie vaudoise de la construction a saisi le Tribunal cantonal des assurances du canton du Valais. Par jugement du 24 novembre 2006, la juridiction cantonale a admis l'action dont elle était saisie, dit que M._ était reconnu devoir à la Caisse de retraite la somme de 28'447 fr., levé définitivement l'opposition à la poursuite n° .... à concurrence de ce montant, sur lequel était dû un intérêt de 5 % dès le 27 juin 2004. Par jugement du 24 novembre 2006, la juridiction cantonale a admis l'action dont elle était saisie, dit que M._ était reconnu devoir à la Caisse de retraite la somme de 28'447 fr., levé définitivement l'opposition à la poursuite n° .... à concurrence de ce montant, sur lequel était dû un intérêt de 5 % dès le 27 juin 2004. C. Le 27 décembre 2006, M._ a interjeté un recours de droit administratif contre ce jugement, en concluant, sous suite de frais et dépens, à l'annulation de celui-ci. A titre subsidiaire, il demandait que la cause soit renvoyée au Tribunal cantonal ou à la Caisse de retraite pour nouvelle décision au sens des considérants. Le 14 mars 2007, la Caisse de retraite professionnelle de l'industrie vaudoise de la construction a répondu au recours. Dans un préavis du 4 avril 2007, l'Office fédéral des assurances sociales a proposé l'admission partielle du recours en ce qui concerne la prise en compte des allocations familiales dans le calcul de la surindemnisation.