Faits:
A. N._ a été engagé pour la période du 17 avril au 30 novembre 2000, comme travailleur saisonnier par l'entreprise X._ en qualité d'aide jardinier-paysagiste. Il était assuré au titre de la prévoyance professionnelle par la Fondation collective LPP Vaudoise Assurances (ci-après : la fondation).
Le 30 novembre 2000, N._ a fait une chute dans un talus d'une hauteur de 4 mètres avec réception sur le dos. Le Service des urgences de l'Hôpital Y._, où N._ a été examiné le jour-même, a diagnostiqué des contusions multiples, sans perte de connaissance, ni maux de tête, ni vomissements. Un arrêt de travail lui a été prescrit jusqu'au 6 décembre 2000, date d'une visite de contrôle chez le docteur G._, médecin traitant. Les dorsalgies persistant, celui-ci a prolongé l'arrêt de travail et ordonné un traitement antalgique et de physiothérapie, auquel il a ajouté un traitement anti-dépresseur dès fin février 2001. En l'absence d'amélioration, N._ a été adressé à plusieurs médecins qui ont diagnostiqué un trouble somatoforme douloureux (rapports des docteurs W._ et R._ du 27 mars 2001, des docteurs I._, S._ et T._ du 1er juin 2001, du docteur I._ des 12 septembre 2001 et 4 novembre 2002 ; expertises des docteurs O._ et A._ du 26 mai 2002 et 20 septembre 2002 ; rapport du docteur B._ du 1er juillet 2003). Ultérieurement, N._ a encore été examiné par le docteur K._, psychiatre (rapport du 11 mars 2004) qui a diagnostiqué une schizophrénie, sans précision, évolution imprévisible, période d'observation trop brève (F 20.99), ainsi que par le docteur E._, psychiatre, qui, dans son rapport d'expertise du 23 juillet 2004, a posé le diagnostic suivant : Axe I : sinistrose "délirante" et Axe II personnalité immature à fonctionnement paranoïaque. Pour l'expert, rien n'indique que N._ ait présenté une comorbidité psychiatrique suffisante pour justifier une incapacité de travail en raison d'un trouble somatoforme douloureux avant le 25 novembre 2002. En revanche, le refus de la rente de l'assurance-invalidité, du 25 novembre 2002, a provoqué une sinistrose délirante excluant toute activité depuis cette époque.
N._ n'a plus retravaillé depuis son accident et l'Office de l'assurance-invalidité du canton de Fribourg lui a octroyé une rente entière sur la base d'un taux d'incapacité de travail de 100 % dès le 1er novembre 2003 (décision du 12 mai 2005).
B. Par écriture du 9 juin 2006, N._ a ouvert action contre la fondation en concluant au paiement d'une rente d'invalidité de 3'217 fr et d'une rente d'enfant invalide de 643 fr par année, avec effet au 25 novembre 2002, sous suite de dépens. La fondation a conclu au rejet des conclusions de la demande.
Par arrêt du 29 août 2007, la Cour des assurances sociales du Tribunal administratif du canton de Fribourg a rejeté la demande.
C. N._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation sous suite des frais et dépens, en reprenant les conclusions prises en instance cantonale.
La fondation conclut à la confirmation de l'arrêt attaqué, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art.106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente ; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. <ref-ruling> consid. 1.4 p. 140). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués ; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui. Il ne peut pas entrer en matière sur une violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal si le grief n'a pas été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées, sinon un état de fait divergent ne peut être pris en considération.
2. Le litige porte uniquement sur la question de savoir si le recourant était assuré auprès de la fondation au moment de la survenance de l'incapacité de travail dont la cause est à l'origine de l'invalidité (art. 23 LPP dans sa teneur valable jusqu'au 31 décembre 2004).
A cet égard, le jugement entrepris expose correctement les règles légales et la jurisprudence sur le droit applicable et les conditions d'application de l'art. 23 LPP (connexité matérielle et temporelle). Il suffit donc d'y renvoyer.
3. 3.1 Les juges cantonaux ont retenu, sur la base de l'expertise du docteur E._, que l'incapacité de travail due à des troubles psychiques avait débuté en novembre 2002, suite à la notification par l'Office de l'assurance-invalidité du canton de Fribourg d'un projet de décision refusant au recourant toute rente. Cette appréciation lie le Tribunal fédéral.
3.2 Le recourant estime que l'autorité cantonale a retenu ces faits de façon manifestement inexacte, car il existe au dossier de nombreux rapports médicaux qui font déjà état de troubles psychiques peu de temps après l'accident.
3.3 Le recourant n'a plus repris le travail depuis l'accident du 30 novembre 2000. Il y a donc lieu d'examiner à partir de quand les problèmes psychiques invalidants ont occasionné une incapacité de travail.
Pour répondre à cette question, il n'est pas nécessaire de déterminer si cette incapacité de travail a débuté en novembre 2002 comme l'ont retenu les juges cantonaux. En effet, pour que l'intimée soit tenue à verser ses prestations, il faut que l'incapacité de travail liée aux atteintes psychiques ait commencé au plus tard dans le délai prolongé de l'art. 10 al. 3 LPP, soit le 31 décembre 2000. Or, il ressort du dossier que le docteur Gueissat, médecin traitant, a signalé l'existence d'un syndrome douloureux chronique avec troubles somatoformes depuis janvier 2001 (rapport du 22 janvier 2002), soit à une date postérieure à la fin de la couverture d'assurance. Cette appréciation repose sur les constatations personnelles que le médecin a faites lors de consultations hebdomadaires et qui l'ont conduit à instaurer un traitement anti-dépresseur à partir de fin février 2001.
Dès lors, même en retenant cette appréciation qui est la plus favorable au recourant, il n'est pas possible d'admettre l'existence d'atteintes psychiques et, à fortiori, d'une incapacité de travail en relation avec elles avant la fin de la couverture d'assurance.
4. 4.1 Dans un second argument, le recourant, se fondant sur l'arrêt du Tribunal fédéral des assurances G. du 21 avril 2005 (B 127/04), demande qu'il soit tenu compte du fait que les atteintes psychiatriques n'ont été diagnostiquées que tardivement, car les médecins se sont d'abord concentrés sur les douleurs somatiques.
4.2 Cette argumentation du recourant est mal fondée. En effet, dans le cas jugé par le Tribunal fédéral des assurances, l'accident avait provoqué des lésions somatiques qui ont lentement dégénéré pour laisser apparaître des troubles somatoformes douloureux. Admettant que les troubles psychiques et physiques étaient très étroitement liés, si bien qu'il n'était pas vraiment possible de dissocier les effets de chaque sorte de troubles sur la capacité de travail, le Tribunal fédéral des assurances a néanmoins déterminé, dans ce cas (consid. 4.3.2), à partir de quel moment l'atteinte à la santé psychique avait entraîné une incapacité de travail d'une certaine importance.
En l'espèce, même en retenant l'appréciation du médecin traitant, qui a constaté l'existence de troubles somatoformes en janvier 2001, rien n'établit que ces derniers étaient déjà invalidants avant même d'avoir été diagnostiqués. Au contraire, l'expert E._ a estimé que l'incapacité de travail due à des problèmes psychiatriques remontait à novembre 2002. Il n'est dès lors pas possible d'admettre, comme étant prouvé au degré de la vraisemblance prépondérante, que l'atteinte psychique dont souffre le recourant ait provoqué une incapacité de travail d'une certaine importance avant le 1er janvier 2001. Dans ces conditions, le recours doit être rejeté.
5. La procédure est onéreuse (art. 62 LTF). Le recourant, qui succombe, doit ainsi supporter les frais judiciaires (art. 66 al. 1 1ère phrase LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais de justice, d'un montant de 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal administratif du canton de Fribourg, à l'Office fédéral des assurances sociales et à la Caisse de compensation du canton de Fribourg.
Lucerne, le 9 octobre 2008
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Scartazzini