Faits:
A. A.a O._ a acquis une formation d'instructeur de plongée sous-marine. Du 1er avril 2000 au 31 juillet 2002, il a bénéficié d'un contrat de travail conclu avec la société X._, A._, qui l'a engagé en tant que responsable de base et moniteur de plongée sous-marine. Du 25 avril au 3 mai 2002 et du 21 mai au 23 juin 2002, il a été à l'arrêt de travail à 100 % (certificat médical du 28 juin 2002 et questionnaire du 9 août 2002 du docteur E._, spécialiste en médecine générale). Le 15 août 2002, le Président du Tribunal de l'arrondissement de Lausanne a prononcé la faillite du titulaire de la société X._. Du 25 mars au 27 novembre 2002, O._ a effectué des missions en qualité de magasinier pour le compte de Y._ SA, qui a résilié les rapports de travail pour le 29 décembre 2002. Dans un certificat médical du 8 janvier 2003, le docteur G._, spécialiste en médecine générale, a attesté une incapacité de travail de 100 % survenue dès le 28 novembre 2002, date à partir de laquelle la Zurich Compagnie d'Assurances SA a versé des indemnités journalières à O._. Celui-ci a émargé à l'assurance-chômage.
A.b Le 9 novembre 2004, O._ a présenté une demande de prestations de l'assurance-invalidité. Le docteur R._, spécialiste FMH en médecine générale, a conclu dans un rapport médical détaillé E 213 du 28 novembre 2004 à une incapacité de travail depuis le 1er novembre 2003. Le docteur G._, dans un rapport du 7 janvier 2005, a indiqué que le patient avait présenté une incapacité de travail de 100 % du 21 au 24 novembre 2002 et du 28 novembre 2002 au 16 mars 2003 et de 50 % du 17 mars au 23 juillet 2003. Les docteurs I._ et S._, tous deux spécialistes FMH en psychiatrie et psychothérapie, ont conclu le premier dans une expertise psychiatrique du 10 juin 2005 à une capacité de travail exigible d'au moins 50 % à partir du début de l'année 2005 et la seconde dans un rapport du 11 janvier 2007 à une capacité de travail de 50 % dès le 12 janvier 2006 (date de la première consultation), d'une durée indéterminée.
Dans un avis du 8 février 2007, le docteur B._, médecin SMR, a conclu à une capacité de travail d'au moins 50 % dans une profession commerciale. Sur cette base, l'Office de l'assurance-invalidité du canton de Fribourg, dans un préavis du 8 février 2007, a informé O._ que sa capacité de travail était restreinte depuis le 20 octobre 2003 (début du délai d'attente d'un an) et qu'il présentait une capacité de travail de 50 % dans une activité adaptée (par exemple en tant que vendeur/représentant) et une invalidité de 15 % (compte tenu d'un revenu sans invalidité de 29'980 fr. [soit la somme de 28'800 fr. figurant dans le compte individuel sous l'année 2001, indexée à 4.1 % selon l'indice suisse des prix à la consommation] et d'un revenu d'invalide de 25'464 fr. par année - valeur 2004 -), taux ne donnant pas droit à une rente. Le 5 mars 2007, l'assuré a fait part à l'office AI de ses observations. Il a produit copie du contrat de travail conclu avec A._ et des feuilles de paye de X._ pour les périodes de mars 2000 à janvier 2003. Par lettre du 26 juin 2007, l'office AI a avisé O._ qu'il existait des divergences entre les relevés de salaire et l'extrait de son compte individuel (CI) et l'a invité à clarifier sa situation auprès de l'employeur, faute de quoi il statuerait sur la base des CI. Par décision de refus de rente d'invalidité du 7 août 2007, il a rejeté la demande pour les motifs exposés dans son préavis.
B. Le 10 octobre 2007, O._ a formé recours contre cette décision devant le Tribunal administratif, Cour des assurances sociales du canton de Fribourg (aujourd'hui: Tribunal cantonal du canton de Fribourg, Cour des assurances sociales), en concluant, sous suite de frais et dépens, à son annulation et à l'octroi à partir du 1er octobre 2003 d'une rente entière d'invalidité; il a ensuite produit plusieurs documents avec un mémoire complémentaire du 8 novembre 2007. Alléguant que le revenu sans invalidité devait être fixé à 86'240 fr. sur la base des revenus de l'année 2002, soit le revenu réalisé de mars à décembre 2002 auprès de Y._ SA de 20'105 fr. et le salaire auquel il avait droit de la part de A._ de 66'135 fr. pour l'ensemble de l'année, il faisait valoir que pendant la période où il a travaillé à titre temporaire auprès de Y._ SA, il avait continué à travailler à plein temps pour A._ en effectuant son travail "le week-end" et avait perçu son salaire normalement, ainsi que l'attestaient les feuilles de paye.
Sur requête de la juridiction cantonale, le fisc a versé au dossier les documents en sa possession. Le dossier d'assurance-chômage a également été produit. Le 24 novembre 2010, O._ a déposé des observations, qu'il a complétées le 19 janvier 2011 en déposant copie d'une déclaration de sinistre datée du 25 juin 2002 pour la Zurich Compagnie d'Assurances SA.
Par arrêt du 28 avril 2011, la juridiction cantonale a rejeté le recours.
C. O._ interjette un recours en matière de droit public contre ce jugement, en concluant, sous suite de frais et dépens, à sa réforme en ce sens que le revenu sans invalidité est fixé à 86'240 fr. sur la base d'un revenu principal de "62'501 francs 70" et d'un revenu accessoire de "20'100 francs", la cause étant renvoyée à la juridiction cantonale pour complément d'instruction conformément aux considérants. Il sollicite l'octroi de l'assistance judiciaire gratuite.
L'Office de l'assurance-invalidité du canton de Fribourg déclare qu'il n'a pas de remarques particulières à formuler différentes des considérants du jugement rendu par l'autorité de première instance. L'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 s. LTF) peut être formé notamment pour violation du droit fédéral (art. 95 let. a LTF). Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF) et peut rectifier ou compléter d'office les constatations de celle-ci si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). La correction du vice doit être susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF).
2. Les règles légales et jurisprudentielles sur la manière d'effectuer la comparaison des revenus (prévue à l'art. 16 LPGA, en corrélation avec l'art. 28 al. 2 LAI jusqu'au 31 décembre 2007) sont exposées correctement dans le jugement entrepris, auquel on peut ainsi renvoyer. Ces règles, y compris celles concernant l'utilisation de l'Enquête suisse sur la structure des salaires (ESS), relèvent de questions de droit. Sous cet angle, la constatation des deux revenus hypothétiques à comparer est une question de fait, dans la mesure où elle repose sur une appréciation concrète des preuves; il s'agit en revanche d'une question de droit si elle se fonde sur l'expérience générale de la vie. Ainsi, relèvent du droit les questions de savoir si les salaires statistiques de l'ESS sont applicables ou quel tableau statistique est déterminant (ATF 132 V 393 consid. 3.3 p. 399).
3. 3.1 A titre préliminaire, les premiers juges ont constaté que le recourant, en raison notamment d'un trouble dépressif majeur et d'un trouble de la personnalité, avait fait l'objet d'incapacités de travail successives variant entre 50 % et 100 % depuis le mois de novembre 2002. Se ralliant aux conclusions des docteurs B._ dans son avis du 8 février 2007, I._ dans son expertise psychiatrique du 10 juin 2005 et S._ dans son rapport du 11 janvier 2007, ils ont considéré que les médecins consultés avaient évalué sa capacité résiduelle de travail à 50 % dans une activité adaptée (soit une profession commerciale), sans relever de limitation fonctionnelle physique (interdiction du port de charges lourdes ou nécessité de changer fréquemment de position), et qu'il y avait lieu de retenir que le recourant était en mesure d'exercer une activité adaptée à un taux de 50 %.
3.2 Le jugement entrepris n'indique cependant pas à partir de quand le recourant était en mesure d'exercer une activité adaptée à un taux de 50 % et est donc incomplet sur ce point. Vu que le recourant a fait l'objet d'incapacités de travail successives variant entre 50 % et 100 % depuis novembre 2002, la juridiction cantonale aurait dû faire la différence entre l'incapacité de travail attestée par le docteur R._ à partir du 1er novembre 2003 (rapport médical détaillé E 213 du 28 novembre 2004) et qualifiée de 100 % jusqu'au 31 décembre 2004 dans divers documents pour l'assureur perte de gain et la capacité de travail exigible d'au moins 50 % à partir du début de l'année 2005 à laquelle a conclu le docteur I._ dans l'expertise psychiatrique du 10 juin 2005 (conclusion à laquelle s'est rallié le docteur B._ dans son avis du 8 février 2007). Au lieu de cela, les premiers juges se sont fondés en 2003, année où ils ont procédé à une comparaison des revenus, sur une capacité résiduelle de travail de 50 % pour calculer le revenu d'invalide, de sorte que le jugement entrepris est en nette contradiction avec la situation de fait effective, caractérisée par l'incapacité de travail de 100 % de fin novembre 2002 au 16 mars 2003 et de 50 % du 17 mars au 23 juillet 2003 attestée par le docteur G._ dans son rapport du 7 janvier 2005, l'incapacité de travail de 100 % du 1er novembre 2003 au 31 décembre 2004 dont a fait état le docteur R._ et les considérations de l'expert I._ sur la capacité de travail prévalant avant le début de l'année 2005 dans ses conclusions du 10 juin 2005. En cela, l'appréciation des preuves à laquelle la juridiction cantonale a procédé est arbitraire dans son résultat (ATF 135 V 2 consid. 1.3 p. 4 s.). Sous cet angle, le jugement entrepris est ainsi contraire au droit fédéral.
Sur le vu des conclusions mentionnées ci-dessus des docteurs G._, R._ et I._, il y a lieu de retenir que de novembre 2002 à novembre 2003 le recourant a présenté, en moyenne, une incapacité de travail de 40 % au moins pendant une année sans interruption notable (art. 29 al. 1 let. b LAI, dans sa teneur en vigueur jusqu'au 31 décembre 2007) et que du 1er novembre 2003 jusqu'au 31 décembre 2004 il a présenté une incapacité de travail de 100 %. Sur le vu des conclusions du docteur I._, qui sont dûment motivées et ont valeur probante (ATF 134 V 231 consid. 5.1 p. 232, 133 V 450 consid. 11.1.3 p. 469, 125 V 351 consid. 3a p. 352), il convient également de compléter le jugement entrepris en retenant que le recourant a présenté à partir du 1er janvier 2005 une capacité de travail exigible de 50 % au moins. Il est dès lors manifeste que depuis le 1er novembre 2003, le recourant a présenté une invalidité de 70 % au moins et qu'à partir de ce moment-là il avait droit à une rente entière d'invalidité jusqu'au 31 mars 2005 (art. 88a al. 1 RAI). Sur ce point, le jugement entrepris est erroné.
4. Reste à examiner si le recourant a droit à une rente d'invalidité au-delà du 31 mars 2005. Est litigieuse la détermination du revenu sans invalidité.
4.1 Dans le calcul du revenu sans invalidité, la juridiction cantonale a écarté la rémunération perçue par le recourant auprès de Y._ SA de mars à décembre 2002, au motif que l'activité qu'il avait exercée pour le compte de cette entreprise s'était terminée par la résiliation du contrat de travail par l'employeur et qu'elle n'aurait vraisemblablement pas été conservée par l'intéressé en bonne santé compte tenu du caractère temporaire des missions proposées. Elle a retenu une seule activité et s'est fondée sur celle exercée en 2001 par le recourant auprès de la société X._, A._. En ce qui concerne la quotité de la rémunération perçue de cette société par la recourant, les premiers juges se sont fondés sur le montant de 28'800 fr. figurant dans l'extrait du compte individuel pour 2001, tout en relevant que les revenus invoqués par le recourant au moyen des fiches de salaire de X._ n'étaient pas établis de manière transparente.
4.2 Le recourant fait valoir qu'il a exercé deux activités parallèles, l'une auprès de la société X._ et l'autre pour le compte de Y._ SA, et que le revenu principal réalisé auprès de X._ et le revenu accessoire perçu de Y._ SA doivent être pris en compte dans le calcul du revenu sans invalidité. Il allègue que la déclaration de sinistre datée du 25 juin 2002 pour la Zurich Compagnie d'Assurances SA, où figure l'indication manuscrite d'un salaire de base de 62'500 fr. par an, constitue une preuve essentielle de la quotité de la rémunération auprès de X._ dont la juridiction cantonale a omis de tenir compte. Reprochant aux premiers juges de ne pas s'être renseignés auprès de Y._ SA pour savoir s'il eût pu continuer à travailler pour le compte de cet employeur s'il avait été valide, singulièrement si la mission eût pu se poursuivre, il demande que le jugement entrepris soit annulé et la cause renvoyée à la juridiction cantonale pour instruction complémentaire sur ce point.
4.3 Il ressort du jugement entrepris que le contrat de travail du recourant avec la société X._, A._ jusqu'au 31 juillet 2002 et les rapports de travail avec Y._ SA de mars à décembre 2002 se sont chevauchés dans le temps. Dans un mémoire complémentaire du 8 novembre 2007, le recourant a déclaré à la juridiction cantonale qu'il avait été libéré de son travail durant la semaine par A._ afin qu'il puisse effectuer des missions pour le compte de Y._ SA et qu'il avait continué à travailler au service de A._ "le week-end de mars à décembre 2006" (recte: 2002) et reçu son salaire normalement, comme s'il avait continué à travailler à plein temps pour A._ ainsi que l'attestaient les fiches de salaire. Toutefois, les feuilles de paye de X._ que le recourant a produites, parmi lesquelles celles relatives aux mois de l'année 2002 dont les premiers juges ont relevé qu'elles ne reflétaient pas la réalité, ne permettent pas de considérer qu'au degré de la vraisemblance prépondérante un revenu ait été effectivement versé par la société X._ pour l'année 2002, revenu dont on ne trouve trace ni dans l'extrait du compte individuel de la Caisse de compensation du canton de Fribourg ni dans les éléments enregistrés par le Service de l'impôt à la source de l'Administration cantonale vaudoise des impôts en ce qui concerne l'année 2002. Interpellé par la juridiction cantonale, l'Office des faillites de l'arrondissement de Lausanne, dans sa réponse du 29 juillet 2010, a produit deux lettres de l'employeur A._ du 24 avril 2002, soit la lettre de résiliation du contrat de travail pour le 31 juillet 2002 et la lettre sous la forme d'un accord écrit pour les salaires impayés où A._ cédait en contre-partie au recourant l'entier du matériel de la société X._. Ces éléments ne permettent pas de considérer que le recourant ait exercé deux activités parallèles et que les premiers juges, en retenant une seule activité, aient établi les faits de façon manifestement inexacte ou en violation du droit. Même si l'activité de magasinier exercée auprès de Y._ SA a donné lieu au versement du dernier salaire, elle n'a été exercée que quelques mois en 2002 et c'est avec raison que la juridiction cantonale s'est fondée sur l'activité de moniteur de plongée sous-marine (et responsable de base) exercée en 2001 par le recourant au service de la société X._ pour déterminer le revenu sans invalidité. Le recours est mal fondé de ce chef.
4.4 En ce qui concerne la quotité de la rémunération perçue en 2001 par le recourant auprès de la société X._, la juridiction cantonale a relevé que les fiches de salaire ressortant du dossier de la Caisse publique de chômage n'étaient pas identiques à celles produites par le recourant et contredisaient les indications données par l'employeur auprès de la Caisse publique de chômage, de sorte que les montants y figurant ne pouvaient pas non plus emporter la présomption de véracité. En revanche, le revenu indiqué dans le document adressé à l'Administration cantonale vaudoise des impôts faisait état d'un revenu de 28'800 fr. pour l'année 2001, soit 2'400 fr. par mois. Celui-ci était relativement proche du salaire mentionné par l'employeur dans l'attestation destinée à la Caisse publique de chômage, à savoir 2'537 fr. Ces deux documents étaient du reste dûment signés par l'employeur et avaient été portés à la connaissance du recourant, vu que l'attestation était annexée à sa demande d'indemnité de chômage datée du 13 décembre 2002 et que la mention "Exemplaire pour l'employé" figurait sur l'autre document. Ces revenus étant similaires à celui inscrit dans l'extrait du compte individuel pour l'année 2001, les premiers juges ont considéré qu'il y avait lieu de retenir le montant de 28'800 fr. inscrit dans l'extrait du compte individuel pour 2001 pour calculer le revenu sans invalidité.
Ainsi que l'a relevé la juridiction cantonale, il existe une contradiction flagrante entre les montants figurant sur les feuilles de paye de X._ que le recourant a produites et qui ont trait aux mois de l'année 2001 d'une part, et, d'autre part le salaire de base soumis à cotisation AVS de 2'537 fr. par mois déclaré par A._ dans l'attestation de l'employeur (pour l'assurance-chômage) datée du 30 décembre 2002, le salaire brut de 2'400 fr. par mois ou de 28'800 fr. pour la période d'imposition du 1er janvier au 31 décembre 2001 déclaré par A._ dans l'attestation d'impôt à la source datée du 29 janvier 2002 et le revenu de 28'800 fr. inscrit par la Caisse de compensation du canton de Fribourg dans l'extrait du compte individuel pour 2001. Il apparaît en outre que les salaires ci-dessus déclarés par A._ sont d'une extrême modicité et nettement inférieurs à la moyenne en raison de facteurs étrangers à l'invalidité. Vu le temps qui s'est écoulé jusqu'au moment où les premiers juges ont procédé à l'examen du cas, le point de savoir si le recourant ne désirait pas se contenter délibérément d'un salaire inférieur à la moyenne ne pouvait plus être établi au degré de vraisemblance prépondérante. Dans ces circonstances, il convenait de se référer aux données statistiques (ATF 134 V 322 consid. 4.1 p. 326). Le jugement entrepris est erroné sur ce point.
4.5 Il y a donc lieu de calculer le revenu sans invalidité sur la base des données statistiques, dont il résulte que le secteur qui entre en considération dans le cas particulier est celui des activités récréatives, culturelles et sportives; le salaire de référence est celui auquel peuvent prétendre les hommes dans une activité simple et répétitive, à savoir 3'942 fr. par mois - valeur en 2004 - part au 13ème salaire comprise (L'Enquête suisse sur la structure des salaires 2004, Tableau TA1 p. 53, ch. 92 du secteur des services, niveau de qualification 4), soit 47'304 fr. par année. Attendu que les salaires bruts standardisés se basent sur un horaire de travail de quarante heures, soit une durée hebdomadaire inférieure à la moyenne usuelle de 41.6 en 2005 dans les autres services collectifs et personnels (La Vie économique 12-2008 p. 94, tabelle B9.2 branche 0 selon la nomenclature Noga), où l'évolution des salaires a été de 0.6 % en 2005 (La Vie économique 12-2008 p. 95, tabelle B10.2), le revenu annuel sans invalidité du recourant doit dès lors être fixé à 49'491 fr. 33 (valeur 2005).
Compte tenu des activités de substitution (par exemple profession commerciale) qui entrent en considération dans le cas du recourant, il y a lieu de calculer le revenu d'invalide sur la base du salaire auquel peuvent prétendre les hommes effectuant des activités simples et répétitives (niveau 4) dans le secteur privé, toutes activités confondues, à savoir un montant de 4'588 fr. par mois - valeur 2004 (L'Enquête suisse sur la structure des salaires 2004, Tableau TA1 p. 53) -, soit 55'056 fr. par année. Il convenait d'ajuster le salaire à la moyenne de 41.6 de la durée hebdomadaire du travail dans les entreprises en 2005 (La Vie économique 12-2008 p. 94, tabelle B9.2) et de tenir compte de l'évolution moyenne des salaires de 1.0 % en 2005 (La Vie économique 12-2008 p. 95, tabelle B10.2), ce qui donnait un revenu de 57'830 fr. 82. Etant donné que le recourant présentait en 2005 une capacité résiduelle de travail de 50 % dans une activité adaptée et que les premiers juges, avec l'office AI et sans que le recourant ne le conteste, n'ont retenu aucun désavantage salarial sous la forme d'un taux d'abattement, le revenu d'invalide doit dès lors être fixé à 28'915 fr. 41 par année (valeur 2005).
Il résulte de la comparaison des revenus en 2005 une invalidité de 42 % ([49'491 fr. 33 - 28'915 fr. 41] x 100 : 49'491 fr. 33), le taux de 41.57 % étant arrondi au pour cent supérieur (ATF 130 V 122 s. consid. 3.2; SVR 2004 UV Nr. 12 p. 44). Le taux d'invalidité de 42 % donne droit à un quart de rente d'invalidité (art. 28 al. 1 LAI, dans sa teneur en vigueur jusqu'au 31 décembre 2007). Il s'ensuit que le recourant a droit à un quart de rente d'invalidité à partir du 1er avril 2005.
5. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge de l'intimé, qui succombe (art. 66 al. 1 LTF). Le recourant a droit à une indemnité de dépens pour l'instance fédérale (art. 68 al. 1 LTF). Sa requête d'assistance judiciaire est dès lors sans objet. Il convient de renvoyer la cause à la juridiction cantonale pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis en ce sens que le jugement du Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, du 28 avril 2011 et la décision de l'Office de l'assurance-invalidité du canton de Fribourg du 7 août 2007 sont annulés. O._ a droit à une rente entière d'invalidité du 1er novembre 2003 au 31 mars 2005 et à un quart de rente d'invalidité à partir du 1er avril 2005.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'Office de l'assurance-invalidité du canton de Fribourg versera au recourant la somme de 2'800 fr., y compris la taxe à la valeur ajoutée, à titre de dépens pour la procédure de dernière instance.
4. La cause est renvoyée au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 18 juin 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Wagner