Faits:
Faits:
A. A.a S._, né en 1964, travaillait en Suisse au service de l'entreprise de construction métallique B._ SA lorsqu'il fut victime d'un accident professionnel, le 11 octobre 1996. Alors qu'il manipulait une presse métallique, sa main droite fut happée par la machine qui lui écrasa trois doigts. Le même jour, le prénommé subit une amputation de la phalange distale de l'index droit, de la phalange moyenne du médius droit ainsi que de la phalange proximale de l'annulaire droit. Son cas a été pris en charge par la Caisse nationale d'assurance en cas d'accidents (CNA). A la suite de cet accident, S._ n'a pas repris son activité professionnelle. Le 21 octobre 1997, il déposa une demande de prestations de l'assurance-invalidité auprès de l'Office AI du canton de Fribourg (ci-après: l'OAI).
Par la suite, deux autres interventions chirurgicales furent nécessaires, soit une première révision des moignons de D2, D3 et D4 et résection de névromes en novembre 1998 puis une seconde révision du moignon d'amputation de D2 en octobre 1999 (cf. rapport du docteur K._, médecin-adjoint au service de chirurgie orthopédique de l'hôpital X._ du 19 novembre 1999). A cette occasion, le médecin a noté que l'incapacité de travail dépendait de l'activité exercée.
A.b S._ suivit un stage au Centre d'observation professionnelle de l'assurance-invalidité de Fribourg (ci-après : COPAI), du 28 février au 24 mars 2000. Selon les observations faites alors, l'assuré était sévèrement limité au niveau de son membre supérieur droit (MSD) et toute sollicitation un tant soit peu intensive provoquait rapidement des douleurs et des démangeaisons, de sorte que toute activité impliquant l'usage du MSD de même que toute activité fine était inadéquate. En revanche, des activités bien ciblées, de type magasinage léger, surveillance d'une chaîne de production ou encore de contrôle, étaient jugées exigibles. Une aide au placement pour améliorer les chances de réinsertion paraissait indispensable. Il fut encore noté que l'atteinte subie avait provoqué chez l'assuré un impact psychologique très profond, susceptible d'influencer la réadaptation (rapport du COPAI du 18 avril 2000).
Le 12 mars 2001, dans un rapport adressé à la CNA, le docteur K._ a jugé que l'état de l'assuré était stabilisé malgré des épisodes douloureux. Il a conclu que le traitement médical était terminé et qu'il était important que l'assuré retrouve une activité professionnelle en relation avec ses capacités.
L'OAI a mandaté le docteur H._, spécialiste FMH en psychiatrie et psychothérapie, afin qu'il procède à une expertise sur la personne de l'assuré. Le psychiatre a relevé qu'après son atteinte, l'assuré avait souffert de troubles post-traumatiques auxquels s'étaient greffés des problèmes personnels, tels que la perte de son emploi, la séparation d'avec sa famille, un avenir incertain ainsi qu'un conflit avec les assurances, par lesquelles l'assuré estimait avoir été traité injustement. Le docteur H._ a noté qu'au cours des derniers mois, l'état psychique de l'intéressé s'était toutefois amélioré et qu'il ne présentait plus de troubles somatiques. En conclusion, il a estimé que l'état psychiatrico-psychosomatique avait été compensé de façon que sa capacité de travail ne s'en trouvait guère limitée (cf. rapport d'expertise du 22 mai 2001).
Dans son rapport du 6 juin 2001, la doctoresse M._, généraliste et médecin traitant de l'assuré, a constaté, sur le plan somatique, des douleurs quasi permanentes de la main droite. Sur le plan psychique, elle a noté un état franchement dépressif caractérisé par des troubles du sommeil, une irritabilité et une anhédonie dans la vie quotidienne. Elle a conclu que l'assuré était incapable de travailler plus de trois heures par jour et que par conséquent, il devait avoir droit à une rente d'invalidité de 50 pour cent au moins.
A.c Dans un projet de décision du 19 juillet 2001, l'OAI a informé S._ qu'il envisageait de lui octroyer une aide au placement mais non une rente, au motif que son degré d'invalidité, évalué à 23 pour cent, était insuffisant pour ouvrir un tel droit.
Par décision du 3 octobre 2001, la CNA lui a alloué une rente d'invalidité fondée sur un taux d'incapacité de gain de 25 pour cent ainsi qu'une indemnité pour atteinte à l'intégrité fondée sur un taux de 20 pour cent.
Par décision du 12 novembre 2001, l'OAI a partiellement admis la demande de prestations du 21 octobre 1997, en ce sens qu'il a alloué à l'assuré une aide au placement mais lui a refusé une rente.
Par décision du 12 novembre 2001, l'OAI a partiellement admis la demande de prestations du 21 octobre 1997, en ce sens qu'il a alloué à l'assuré une aide au placement mais lui a refusé une rente.
B. Par acte du 11 décembre 2001, l'assuré a recouru contre cette décision devant le Tribunal administratif du canton de Fribourg en concluant, sous suite de dépens, à son annulation ainsi qu'à l'octroi d'une rente entière d'invalidité. Il a en outre demandé la mise en oeuvre d'une contre-expertise psychiatrique et sollicité le bénéfice de l'assistance judiciaire gratuite. A l'appui de son recours, il a produit deux nouveaux rapports de la doctoresse M._, l'un du 23 août 2001 et l'autre du 30 octobre 2001. Dans le premier, la doctoresse a précisé son précédent rapport du 6 juin 2001, en affirmant que l'assuré était incapable de travailler plus de 3 heures par jour dans une activité légère (comme commissionnaire, distributeur de courrier, surveillant de magasin ou chauffeur de minibus), en raison de douleurs dans le membre supérieur droit et de la perte de force musculaire. Dans son second rapport, elle s'est ralliée, sur le plan somatique, à l'avis du docteur K._, lequel avait admis que l'état de santé de l'assuré était parfaitement stabilisé. La doctoresse M._ en a conclu que l'incapacité de travail dont elle avait fait état était due aux seuls problèmes psychiques dont souffrait l'assuré, précisant que ces derniers entraient tout à fait dans le cadre de troubles somatoformes douloureux.
L'OAI a conclu au rejet du recours. A l'issue d'un second échange d'écritures, les parties ont maintenu leur position.
Le 29 août 2003, le Tribunal administratif a confié au docteur E._, spécialiste FMH en psychiatrie et psychothérapie, le soin de réaliser la contre-expertise demandée. L'expert a fait part de ses observations et conclusions dans un rapport du 16 février 2004.
Invités à se prononcer sur le rapport du docteur E._, l'OAI a confirmé sa position, tandis que l'assuré ne s'est pas déterminé dans le délai imparti.
Par jugement du 4 novembre 2004, le Tribunal administratif du canton de Fribourg a rejeté le recours formé par S._ contre la décision de l'OAI du 12 novembre 2001. Il lui a accordé l'assistance judiciaire.
Par jugement du 4 novembre 2004, le Tribunal administratif du canton de Fribourg a rejeté le recours formé par S._ contre la décision de l'OAI du 12 novembre 2001. Il lui a accordé l'assistance judiciaire.
C. S._ interjette recours de droit administratif contre ce jugement dont il requiert l'annulation. A titre principal, il conclut au renvoi de la cause à la juridiction cantonale, subsidiairement à l'OAI, pour complément d'instruction. A titre subsidiaire, il requiert l'octroi d'une rente d'invalidité fondée sur un taux d'invalidité de 60 pour cent au moins. Dans les deux cas, il demande une indemnité de partie ainsi que la prise en charge des dépens pour la procédure cantonale. Très subsidiairement, il sollicite le bénéfice de l'assistance judiciaire gratuite.
L'OAI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. Le litige porte sur le droit du recourant à des prestations de l'assurance-invalidité, singulièrement une rente. La juridiction cantonale a considéré que seul était litigieux le point de savoir si l'assuré présentait une incapacité de travail en relation avec des troubles psychiques. En procédure fédérale, le recourant ne prend aucune conclusion relative à une incapacité de travail en raison de troubles somatiques et ne remet donc pas en cause, sur ce point, le jugement attaqué.
1. Le litige porte sur le droit du recourant à des prestations de l'assurance-invalidité, singulièrement une rente. La juridiction cantonale a considéré que seul était litigieux le point de savoir si l'assuré présentait une incapacité de travail en relation avec des troubles psychiques. En procédure fédérale, le recourant ne prend aucune conclusion relative à une incapacité de travail en raison de troubles somatiques et ne remet donc pas en cause, sur ce point, le jugement attaqué.
2. 2.1 La loi fédérale sur la partie générale des assurances sociales (LPGA) du 6 octobre 2000, entrée en vigueur le 1er janvier 2003, n'est pas applicable au présent litige, dès lors que le juge n'a pas à prendre en considération les modifications du droit ou de l'état de fait postérieures à la date déterminante de la décision litigieuse du 12 novembre 2001 (<ref-ruling> consid. 1.2 et les références).
2.2 Pour ce même motif, les dispositions de la novelle du 21 mars 2003 modifiant la LAI (4ème révision), entrée en vigueur le 1er janvier 2004 (RO 2003 3852), ne sont pas applicables (<ref-ruling> consid. 1.2 et les références).
2.2 Pour ce même motif, les dispositions de la novelle du 21 mars 2003 modifiant la LAI (4ème révision), entrée en vigueur le 1er janvier 2004 (RO 2003 3852), ne sont pas applicables (<ref-ruling> consid. 1.2 et les références).
3. Le jugement entrepris expose correctement les dispositions légales et la jurisprudence relatives à la notion d'invalidité (<ref-law>), son évaluation chez les assurés actifs (<ref-law>) ainsi qu'à l'échelonnement des rentes en fonction du degré d'invalidité (<ref-law>), si bien qu'il suffit d'y renvoyer sur ces différents points.
3. Le jugement entrepris expose correctement les dispositions légales et la jurisprudence relatives à la notion d'invalidité (<ref-law>), son évaluation chez les assurés actifs (<ref-law>) ainsi qu'à l'échelonnement des rentes en fonction du degré d'invalidité (<ref-law>), si bien qu'il suffit d'y renvoyer sur ces différents points.
4. 4.1 Se fondant sur les conclusions de l'expertise judiciaire effectuée par le docteur E._, la juridiction cantonale a considéré que le recourant souffrait d'un syndrome anxio-dépressif léger ne justifiant aucune diminution significative de sa capacité de travail dans toute activité adaptée à son handicap physique.
4.2 Le recourant conteste toute valeur probante à l'expertise ordonnée par la juridiction cantonale et soulève en particulier le grief de prévention à l'encontre de l'expert.
4.2 Le recourant conteste toute valeur probante à l'expertise ordonnée par la juridiction cantonale et soulève en particulier le grief de prévention à l'encontre de l'expert.
5. 5.1 Un expert passe pour prévenu lorsqu'il existe des circonstances propres à faire naître un doute sur son impartialité. Dans ce domaine, il s'agit toutefois d'un état intérieur dont la preuve est difficile à rapporter. C'est pourquoi il n'est pas nécessaire de prouver que la prévention est effective pour récuser un expert. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale de l'expert. L'appréciation de ces circonstances ne peut pas reposer sur les seules impressions de la personne expertisée. La méfiance à l'égard de l'expert doit au contraire apparaître comme fondée sur des éléments objectifs (<ref-ruling> sv. consid. 3b/ee, 123 V 176 consid. 3d et l'arrêt cité; VSI 2001 p. 109 sv. consid. 3b/ee; RAMA 1999 n° U 332 p. 193 consid. 2a/bb et les références).
5.2 En l'espèce, le recourant soutient que certains faits relevés par l'expert dans l'anamnèse - en particulier le fait qu'il aurait été expulsé à deux reprises de la Suisse avant d'y revenir avec un permis de séjour valable, qu'il aurait connu sa seconde épouse peu avant d'être expulsé, qu'il est détenteur d'un véhicule de marque BMW, ainsi que sa situation et celle de sa famille vis-à-vis de l'aide sociale - sont sans pertinence pour l'appréciation de la situation médicale. D'autre part, il relève que selon son interprétation de certains paragraphes de l'expertise (cf. premier et dernier paragraphes de la page 28 et premier paragraphe de la page 29), l'expert le traiterait implicitement de menteur, de tricheur, de trompeur et encore de calculateur. D'après le recourant, d'éventuelles rumeurs reprochant au docteur E._ d'être défavorable, dans ses rapports, aux assurés originaires des Balkans, pourraient être justifiées à la lecture des paragraphes cités de l'expertise.
Au vu du rapport d'expertise, on ne voit pas que les critiques formulées par le recourant soient justifiées. En effet, si l'expert doit éviter tout jugement de valeur sur le comportement de l'assuré ou de son entourage, cela ne signifie pas qu'il doive négliger d'analyser les données anamnestiques sur le plan personnel et familial (François Paychère, Le juge et l'expert - plaidoyer pour une meilleure compréhension, p. 147, in: L'expertise médicale, éd. Médecine et Hygiène, Genève et Paris 2002). Or, s'il est vrai qu'il n'est pas déterminant, pour l'appréciation de son état de santé, que le recourant soit détenteur d'une BMW, cette remarque n'est pas encore de nature à ébranler la crédibilité des conclusions de l'expert. Quant aux données concernant sa situation familiale (mariage, divorce, remariage) et personnelle (statut administratif et sur le plan financier), elles ne sont pas inutiles, comme semble le penser le recourant, d'autant moins que ses difficultés personnelles ont été évoquées à plusieurs reprises dans le dossier en relation avec ses problèmes psychiques. Quant aux prétendues accusations de la part de l'expert, selon lesquelles le recourant serait un menteur, un tricheur, un trompeur ou un calculateur, elles n'ont strictement aucun fondement dans la mesure où elles procèdent de la pure interprétation du recourant. D'une part, ces termes ne figurent pas comme tels dans le rapport d'expertise, d'autre part, il ne ressort pas non plus du jugement cantonal que les premiers juges auraient interprété les paragraphes litigieux comme l'a fait le recourant. Quoi qu'il en soit, le seul fait qu'un expert-psychiatre emploie des expressions qui peuvent subjectivement être ressenties comme déplaisantes par la personne expertisée ne constitue pas en soi un indice de prévention à l'égard de celle-ci tant que les termes utilisés demeurent dans les limites de ce qui est nécessaire pour poser un diagnostic psychiatrique. C'est le cas en ce qui concerne les observations du docteur E._ qui n'ont d'autre but que de décrire très précisément le contexte affectif dans lequel a évolué le recourant, lequel contexte s'avère particulièrement important en matière de troubles psychiques.
Au vu du rapport d'expertise, on ne voit pas que les critiques formulées par le recourant soient justifiées. En effet, si l'expert doit éviter tout jugement de valeur sur le comportement de l'assuré ou de son entourage, cela ne signifie pas qu'il doive négliger d'analyser les données anamnestiques sur le plan personnel et familial (François Paychère, Le juge et l'expert - plaidoyer pour une meilleure compréhension, p. 147, in: L'expertise médicale, éd. Médecine et Hygiène, Genève et Paris 2002). Or, s'il est vrai qu'il n'est pas déterminant, pour l'appréciation de son état de santé, que le recourant soit détenteur d'une BMW, cette remarque n'est pas encore de nature à ébranler la crédibilité des conclusions de l'expert. Quant aux données concernant sa situation familiale (mariage, divorce, remariage) et personnelle (statut administratif et sur le plan financier), elles ne sont pas inutiles, comme semble le penser le recourant, d'autant moins que ses difficultés personnelles ont été évoquées à plusieurs reprises dans le dossier en relation avec ses problèmes psychiques. Quant aux prétendues accusations de la part de l'expert, selon lesquelles le recourant serait un menteur, un tricheur, un trompeur ou un calculateur, elles n'ont strictement aucun fondement dans la mesure où elles procèdent de la pure interprétation du recourant. D'une part, ces termes ne figurent pas comme tels dans le rapport d'expertise, d'autre part, il ne ressort pas non plus du jugement cantonal que les premiers juges auraient interprété les paragraphes litigieux comme l'a fait le recourant. Quoi qu'il en soit, le seul fait qu'un expert-psychiatre emploie des expressions qui peuvent subjectivement être ressenties comme déplaisantes par la personne expertisée ne constitue pas en soi un indice de prévention à l'égard de celle-ci tant que les termes utilisés demeurent dans les limites de ce qui est nécessaire pour poser un diagnostic psychiatrique. C'est le cas en ce qui concerne les observations du docteur E._ qui n'ont d'autre but que de décrire très précisément le contexte affectif dans lequel a évolué le recourant, lequel contexte s'avère particulièrement important en matière de troubles psychiques.
6. En ce qui concerne la valeur probante du rapport d'expertise en cause, on relèvera que le psychiatre a posé son diagnostic au regard des critères du Manuel diagnostic et statistique des troubles mentaux DSM IV édité par l'association des psychiatres américains (American psychiatric Association), qui préconise l'évaluation multiaxiale. Il mentionne, sur l'axe I, un épisode dépressif majeur de gravité légère ou trouble adaptatif avec humeur anxio-dépressive de gravité légère, un trouble douloureux associé à la fois à des facteurs psychologiques et à une affection médicale générale ainsi qu'une non-observance ou faible observance au traitement. Sur l'axe II, le médecin signale l'absence d'un trouble majeur de la personnalité. Sur l'axe III, qui concerne la pathologie somatique, l'expert-psychiatre renvoie aux spécialistes compétents, et sur l'axe IV, il relève des difficultés socio-économiques mais l'absence d'autres facteurs de stress aigus. Le psychiatre relève qu'il prédomine actuellement une symptomatologie algique limitée à la main droite, pour laquelle les éléments objectifs somatiques ne suffisent pas à expliquer son intensité, ni sa persistance, ni en grande partie le handicap fonctionnel allégué. Selon l'expert, la prescription d'un antidépresseur léger aurait dû permettre un amendement rapide de cette symptomatologie anxio-dépressive légère, qui ne justifie pas, par ailleurs, une incapacité de travail dans une activité adaptée au handicap somatique objectif de l'assuré. Ces conclusions sont fondées sur un entretien personnel, des tests psychométriques et examens paracliniques, l'étude du dossier et une anamnèse approfondie du patient. Par ailleurs, les considérations médicales sont clairement exprimées et bien motivées. Dès lors, à l'instar des premiers juges, on doit retenir que ce rapport répond à toutes les exigences posées par la jurisprudence en la matière (cf. <ref-ruling> consid. 3a, 122 V 160 consid. 1c et les références), si bien qu'on peut lui reconnaître pleine valeur probante.
Par ailleurs, il convient de relever que l'avis de l'expert E._ concorde avec ceux des docteurs K._ et H._ ainsi qu'avec les observations du COPAI, lesquels ont estimé que le recourant était à même d'exercer une activité adaptée à son handicap physique. Quant à l'avis de la doctoresse M._, il ne saurait prévaloir, sur le plan psychique, sur celui de spécialistes, d'autant moins que ses rapports des 23 août et 30 octobre 2001 paraissent contradictoires. En effet, après avoir admis une capacité résiduelle de travail avec un rendement de 3 heures par jour en raison des douleurs somatiques, elle s'est ravisée en avançant des raisons purement psychiques.
Dans ces circonstances, il n'existe aucune raison de s'écarter des conclusions du docteur E._, de sorte qu'il n'y a pas lieu de requérir la mise en oeuvre d'une nouvelle expertise. Dès lors que les troubles psychiques dont souffre le recourant ne se manifestent pas avec une sévérité telle que, d'un point de vue objectif, ils excluent toute mise en valeur de sa capacité de travail, le degré d'invalidité qu'il présente doit être examiné compte tenu de son seul handicap physique. Or, il n'est pas contesté que ce dernier n'empêche pas le recourant d'exercer une activité légère et adaptée à plein temps.
Dans ces circonstances, il n'existe aucune raison de s'écarter des conclusions du docteur E._, de sorte qu'il n'y a pas lieu de requérir la mise en oeuvre d'une nouvelle expertise. Dès lors que les troubles psychiques dont souffre le recourant ne se manifestent pas avec une sévérité telle que, d'un point de vue objectif, ils excluent toute mise en valeur de sa capacité de travail, le degré d'invalidité qu'il présente doit être examiné compte tenu de son seul handicap physique. Or, il n'est pas contesté que ce dernier n'empêche pas le recourant d'exercer une activité légère et adaptée à plein temps.
7. Pour procéder à la comparaison des revenus, il convient de se placer au moment de la naissance possible du droit à la rente : les revenus avec et sans invalidité sont déterminés par rapport à un même moment; les modifications de ces revenus, susceptibles d'influencer le droit à la rente, survenues jusqu'au moment où la décision est rendue, sont également prises en compte (<ref-ruling>-224 consid. 4.2). En l'occurrence, la comparaison doit se faire au regard de la situation existant en 1997, soit une année après le début de l'incapacité de travail alléguée dans l'ancienne activité d'ouvrier (cf. <ref-law>).
Le revenu annuel d'assuré valide de 45'360 fr. retenu par l'administration et confirmé par les premiers juges, n'est pas contesté en tant que tel et n'apparaît pas critiquable. Il sera donc retenu pour appliquer l'<ref-law>.
Quant au revenu d'invalide, l'administration est partie d'un salaire mensuel de référence de 3'689 fr., qu'elle a réduit au maximum (25 pour cent) pour tenir compte des limitations du recourant, obtenant ainsi un revenu d'invalide annuel déterminant de 34'952 fr. On n'aboutit pas, bien au contraire, à un résultat plus favorable au recourant si l'on prend en compte le salaire auquel peuvent prétendre les hommes effectuant des activités simples et répétitives dans le secteur privé en 1996 (Enquête suisse sur la structure des salaires 1996, TA1, p. 17, niveau de qualification 4), à savoir 4'294 fr. Après les adaptations à l'horaire de travail usuel dans les entreprises en 1996 (41,9 heures; Annuaire statistique 2004, p. 200, T3.2.3.5) ainsi qu'à l'évolution des salaires (+ 0,5 pour cent en 1997), on aboutirait à un revenu d'invalide annuel de 54'245 fr. Si l'on y appliquait encore le facteur maximal de réduction de 25 pour cent (<ref-ruling> consid. 5b/cc), il résulterait de la comparaison de ces revenus un taux d'invalidité de 10 pour cent (45'360 / 40'683), inférieur à celui retenu par l'administration.
Le recours se révèle dès lors mal fondé.
Le recours se révèle dès lors mal fondé.
8. 8.1 Le litige ayant pour objet l'octroi ou le refus de prestations d'assurance, la procédure est gratuite (art. 134 OJ).
Le recourant, qui succombe, ne saurait prétendre une indemnité de dépens pour l'instance fédérale (art. 159 al. 1 en liaison avec l'art. 135 OJ).
8.2 Le recourant sollicite pour la présente instance l'octroi de l'assistance judiciaire gratuite. On peut admettre que le recours n'était pas d'emblée dénué de chance de succès. Par ailleurs, au vu des pièces figurant au dossier, le recourant est indigent, de sorte qu'il convient de lui accorder l'assistance judiciaire (art. 152 al. 1 et 2 en corrélation avec l'art. 135 OJ; <ref-ruling> consid. 4a, 372 consid. 5b et les références). L'attention du recourant est cependant attirée sur le fait qu'il devra rembourser la caisse du Tribunal s'il devient ultérieurement en mesure de le faire (art. 152 al. 3 OJ).

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. L'assistance judiciaire est accordée. Les honoraires de Me Kaufmann sont fixés à 2'000 fr. (y compris la taxe à la valeur ajoutée) pour la procédure fédérale et seront supportés par la caisse du Tribunal.
3. L'assistance judiciaire est accordée. Les honoraires de Me Kaufmann sont fixés à 2'000 fr. (y compris la taxe à la valeur ajoutée) pour la procédure fédérale et seront supportés par la caisse du Tribunal.
4. Le présent arrêt sera communiqué aux parties, à la Cour des assurances sociales du Tribunal administratif du canton de Fribourg et à l'Office fédéral des assurances sociales.
Lucerne, le 31 mai 2005
Au nom du Tribunal fédéral des assurances
Le Président de la IIe Chambre: La Greffière: