Faits:
Faits:
A. A.a S._, ressortissant portugais né en 1958, exerçait l'activité de garçon de buffet au café-restaurant «X._». En juin 1993, il a été victime d'un accident professionnel qui a provoqué une tendinose avec rupture partielle du sus-épineux de l'épaule droite. En raison de la persistance des douleurs, il a subi plusieurs interventions chirurgicales (acromioplasties arthroscopiques) en mai, puis en octobre 1994.
Après avoir repris le travail une semaine après l'accident, l'intéressé, incapable de travailler à partir du 12 février 1994, a été licencié au 30 septembre suivant; il n'a plus exercé d'activité lucrative depuis cette date. Le 8 juin 1995, il a déposé une demande de prestations de l'assurance-invalidité. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a procédé à diverses mesures d'instruction et requis l'avis du docteur C._, médecin traitant. Celui-ci a préconisé un changement de profession, en indiquant par ailleurs que l'assuré disposait d'une capacité de travail entière dans une activité adaptée, par exemple, dans le domaine de la mécanique légère (rapport du 6 novembre 1996).
Dans un projet de décision du 23 novembre 1999, l'office AI a informé S._ qu'il entendait refuser sa demande de prestations, dès lors que sa capacité de travail était entière dans une activité adaptée à son état de santé (sans port de charge, ni travaux effectués au-dessus du niveau de la tête) et lui permettait d'obtenir un revenu équivalent à celui qu'il obtenait avant l'atteinte à la santé. Contestant ce point de vue, l'assuré a produit un rapport du docteur W._ (du 1er février 2000), spécialiste en chirurgie orthopédique, selon lequel l'importance des plaintes douloureuses du patient devait être mise en rapport avec un état dépressif chronique. Le 26 avril 2000, reprenant les termes de son projet de décision, l'office AI a rejeté la demande de prestations de l'assuré.
A.b A la suite d'un recours formé par S._, qui a abouti au renvoi de la cause à l'office AI pour complément d'instruction sous la forme d'une expertise psychiatrique (jugement du Tribunal des assurances du canton de Vaud du 22 novembre 2000), l'administration a chargé le docteur E._, psychiatre et psychothérapeute, d'évaluer l'état de santé psychique de l'assuré. Dans son rapport du 21 décembre 2001, ce médecin a diagnostiqué notamment un trouble douloureux associé à une affection médicale générale de degré léger et, éventuellement, un abus et/ou dépendance à l'alcool. Il a conclu à l'absence d'une atteinte psychiatrique invalidante, ainsi qu'à une capacité de travail entière dans toute activité adaptée aux limitations physiques et compétences professionnelles de l'assuré.
Après avoir versé au dossier le rapport (du 16 octobre 2002) du docteur M._, spécialiste FMH en médecine interne et affections rhumatismales, l'office AI a derechef rejeté la demande de prestations, par décision du 14 novembre 2002.
Après avoir versé au dossier le rapport (du 16 octobre 2002) du docteur M._, spécialiste FMH en médecine interne et affections rhumatismales, l'office AI a derechef rejeté la demande de prestations, par décision du 14 novembre 2002.
B. L'assuré a déféré cette décision au Tribunal des assurances du canton de Vaud, en produisant, à l'appui de ses conclusions visant à l'octroi d'une rente d'invalidité, une expertise du docteur K._, psychiatre et psychothérapeute, datée du 28 avril 2003. Ce praticien a fait état de plusieurs diagnostics psychiques (épisode dépressif sévère sans symptômes psychotiques, retard mental léger, trouble de la personnalité anxieuse et évitante, syndrome douloureux somatoforme persistant), et conclu à une incapacité de travail de 100%. Après avoir requis l'avis du docteur E._ sur le rapport de son confrère (détermination du 3 décembre 2003), le tribunal a, par jugement du 7 juillet 2004, dont la rédaction a été approuvée le 7 février 2005, débouté l'assuré.
B. L'assuré a déféré cette décision au Tribunal des assurances du canton de Vaud, en produisant, à l'appui de ses conclusions visant à l'octroi d'une rente d'invalidité, une expertise du docteur K._, psychiatre et psychothérapeute, datée du 28 avril 2003. Ce praticien a fait état de plusieurs diagnostics psychiques (épisode dépressif sévère sans symptômes psychotiques, retard mental léger, trouble de la personnalité anxieuse et évitante, syndrome douloureux somatoforme persistant), et conclu à une incapacité de travail de 100%. Après avoir requis l'avis du docteur E._ sur le rapport de son confrère (détermination du 3 décembre 2003), le tribunal a, par jugement du 7 juillet 2004, dont la rédaction a été approuvée le 7 février 2005, débouté l'assuré.
C. S._ interjette un recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant au renvoi de la cause à la juridiction cantonale pour qu'elle mette en oeuvre une expertise psychiatrique.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
D. Invité par le recourant à lui communiquer les noms des juges appelés à juger sa cause, le Juge délégué à l'instruction lui a répondu par courriers des 5 avril et 23 mai 2006.

Considérant en droit:
Considérant en droit:
1. La loi fédérale du 16 décembre 2005 modifiant la loi fédérale sur l'assurance-invalidité est entrée en vigueur le 1er juillet 2006 (RO 2006 2003), apportant des modifications qui concernent notamment la procédure conduite devant le Tribunal fédéral des assurances (art. 132 al. 2 et 134 OJ). Toutefois, le présent cas n'est pas soumis au nouveau droit, du moment que le recours de droit administratif a été formé avant le 1er juillet 2006 (ch. II let. c des dispositions transitoires relatives à la modification du 16 décembre 2005).
1. La loi fédérale du 16 décembre 2005 modifiant la loi fédérale sur l'assurance-invalidité est entrée en vigueur le 1er juillet 2006 (RO 2006 2003), apportant des modifications qui concernent notamment la procédure conduite devant le Tribunal fédéral des assurances (art. 132 al. 2 et 134 OJ). Toutefois, le présent cas n'est pas soumis au nouveau droit, du moment que le recours de droit administratif a été formé avant le 1er juillet 2006 (ch. II let. c des dispositions transitoires relatives à la modification du 16 décembre 2005).
2. 2.1 Le jugement entrepris expose correctement les règles légales et la jurisprudence relatives à la notion d'invalidité, à son évaluation pour les assurés actifs, au degré d'invalidité ouvrant le droit à une rente, ainsi qu'aux conditions auxquelles le juge peut s'écarter des conclusions d'une expertise médicale judiciaire. Il précise également à juste titre que le présent litige reste soumis aux dispositions de la LAI en vigueur jusqu'au 31 décembre 2002, sans les modifications entraînées par l'entrée en vigueur, au 1er janvier 2003, de la LPGA (cf. <ref-ruling> consid. 1.2). On peut donc y renvoyer sur ces points, en ajoutant que pour les mêmes raisons que celles évoquées par les premiers juges en relation avec l'applicabilité de la LPGA, les modifications de la LAI du 21 mars 2003 (4ème révision de la LAI), entrées en vigueur au 1er janvier 2004, ne sont pas non plus applicables en l'espèce.
2. 2.1 Le jugement entrepris expose correctement les règles légales et la jurisprudence relatives à la notion d'invalidité, à son évaluation pour les assurés actifs, au degré d'invalidité ouvrant le droit à une rente, ainsi qu'aux conditions auxquelles le juge peut s'écarter des conclusions d'une expertise médicale judiciaire. Il précise également à juste titre que le présent litige reste soumis aux dispositions de la LAI en vigueur jusqu'au 31 décembre 2002, sans les modifications entraînées par l'entrée en vigueur, au 1er janvier 2003, de la LPGA (cf. <ref-ruling> consid. 1.2). On peut donc y renvoyer sur ces points, en ajoutant que pour les mêmes raisons que celles évoquées par les premiers juges en relation avec l'applicabilité de la LPGA, les modifications de la LAI du 21 mars 2003 (4ème révision de la LAI), entrées en vigueur au 1er janvier 2004, ne sont pas non plus applicables en l'espèce.
3. Le recourant reproche essentiellement à la juridiction cantonale de n'avoir pas mis en oeuvre une expertise psychiatrique judiciaire, dès lors qu'elle disposait de deux avis médicaux - du docteur E._ du 21 décembre 2001 et du docteur K._ du 28 avril 2003 - foncièrement contradictoires. A tout le moins les premiers juges étaient-ils tenus d'expliquer les raisons qui les avaient conduits à écarter l'appréciation du docteur K._ «de la manière la plus sérieuse», ce qu'ils auraient manqué de faire à ses yeux.
3. Le recourant reproche essentiellement à la juridiction cantonale de n'avoir pas mis en oeuvre une expertise psychiatrique judiciaire, dès lors qu'elle disposait de deux avis médicaux - du docteur E._ du 21 décembre 2001 et du docteur K._ du 28 avril 2003 - foncièrement contradictoires. A tout le moins les premiers juges étaient-ils tenus d'expliquer les raisons qui les avaient conduits à écarter l'appréciation du docteur K._ «de la manière la plus sérieuse», ce qu'ils auraient manqué de faire à ses yeux.
4. 4.1 Posant un diagnostic au regard des critères du Manuel diagnostique et statistique des troubles mentaux DSM IV édité par l'Association des psychiatres américains (American Psychiatric Association), le docteur E._ a mentionné, sur l'axe I, un trouble douloureux associé à une affection médicale générale de degré léger (diagnostic différentiel: trouble douloureux associé à la fois à des facteurs psychologiques et à une affection médicale générale), ainsi qu'un éventuel abus et/ou dépendance à l'alcool. Sur l'axe II, il indique des traits de personnalité passive-dépendante et une intelligence aux limites inférieures de la norme, alors que sur l'axe III, le médecin a repris à titre indicatif le diagnostic de tendinose avec petite rupture partielle antérieure du sus-épineux de l'épaule droite. Sur l'axe IV, il retient la désinsertion professionnelle et l'absence de formation professionnelle. Selon le docteur E._, l'assuré ne présente pas d'état dépressif majeur ou mineur, son manque de motivation ou sa passivité ayant davantage trait à sa personnalité et des motifs extra-médicaux qu'à un trouble significatif de l'humeur. L'expert relève par ailleurs qu'il y a peu ou pas d'élément en faveur d'une surcharge dite psychogène, alors que les éléments de sursimulation (existence d'un fond pathologique réel exagéré pour les besoins de la cause) sont fort probables. Il conclut que l'assuré ne présente aucune atteinte psychiatrique majeure invalidante et dispose, du point de vue psychiatrique, d'une capacité de travail entière dans une activité adaptée à ses limitations physiques.
4.2 De son côté, le docteur K._ diagnostique un épisode dépressif sévère, sans symptômes psychotiques, un retard mental léger, un trouble de la personnalité anxieuse et évitante, ainsi qu'un syndrome douloureux somatoforme persistant. Il estime que l'on peut retrouver aussi bien dans l'anamnèse que dans l'observation clinique des traits de dépendance, une difficulté à assumer des responsabilités et à prendre des décisions, une passivité, ainsi qu'une tendance à l'évitement des difficultés et des relations. Par ailleurs, les examens psychologiques projectifs effectués par l'assuré confirment une organisation de la personnalité bancale, du registre psychotique. Cet élément prend, selon l'expert, la dimension d'un trouble de la personnalité au sens du DSM-IV et de la CIM-10, ce trouble entraînant une altération du fonctionnement social et professionnel, et contribuant à une souffrance actuelle cliniquement significative de l'expertisé. Le docteur K._ observe également que l'assuré présente les symptômes classiques de la dépression majeure (sentiments d'inutilité, d'insuffisance, d'anhédonie, de dévalorisation, de culpabilité et de tristesse); l'état dépressif majeur présent depuis plusieurs années, probablement depuis 1999, traduit, à son avis, le fait que la situation est figée. Il précise encore que compte tenu de l'atteinte physique considérée comme relativement modeste par les somaticiens, et du manque de ressources personnelles associées à un trouble dépressif majeur, il serait illusoire d'envisager une réorientation ou une réinsertion professionnelle. Il conclut que les troubles évoqués ont une incidence sur la capacité de travail de l'assuré qui restera proche de zéro et ne dépassera pas le niveau d'une activité en milieu protégé.
4.3 Avec les premiers juges, on doit constater que l'analyse du docteur K._ n'emporte pas la conviction. Ainsi, les conclusions du psychiatre quant à la date de l'apparition (probable) de l'état dépressif majeur diagnostiqué ne reposent sur aucun élément objectif au dossier. S'il ressort certes du rapport du docteur W._ (du 1er février 2000) qu'une expertise psychiatrique s'avérait nécessaire pour investiguer une éventuelle composante psychique des plaintes de l'assuré, ce médecin ne s'est pas prononcé plus avant sur ce point. On ne comprend dès lors pas sur quoi se fonde le docteur K._ pour affirmer l'existence d'un état dépressif majeur en 1999 déjà. Au demeurant, comme le relève la juridiction cantonale, on ignore si la documentation remise par le recourant au médecin était complète, celui-ci ne mentionnant expressément que le jugement cantonal du 22 novembre 2000, ainsi que l'expertise du docteur E._; il est dès lors douteux que l'appréciation rétrospective du psychiatre tienne dûment compte de tous les aspects médicaux ressortant des rapports au dossier antérieurs.
4.4 Cela étant, si l'expertise du docteur K._ n'est pas convaincante, elle comporte cependant un certain nombre d'éléments propres à mettre en doute l'évaluation du docteur E._. Les conclusions des deux psychiatres sont en effet diamétralement opposées, l'expert mandaté par l'intimé concluant à une capacité de travail entière du point de vue psychiatrique, celui mandaté par l'assuré retenant, à l'inverse, une incapacité de travail totale. Au stade du diagnostic déjà, les avis divergent fortement puisque le docteur K._ retient un retard mental léger et un trouble de la personnalité anxieuse et évitante là où son confrère observe qu'il n'y a pas d'éléments en faveur d'un grave trouble de la personnalité atteignant le seuil diagnostic. A cet égard, le docteur K._ relève qu'un certain nombre de données concernant la famille du recourant (maladies familiales, handicap et actes violents du père, traitement psychiatrique et tentatives de suicide de l'épouse du recourant) ne figurent pas dans l'anamnèse établie par le docteur E._, en précisant que «l'expertisé présente une faille narcissique majeure et tient à se présenter le plus 'normal' possible (...)», ce qui fausse la récolte des informations. Les explications fournies par le docteur E._ le 3 décembre 2003, selon lesquelles les divergences entre les conclusions de son expertise et celles de son confrère relèveraient pour l'essentiel de la «confusion des mandats d'expertise et de traitement», ainsi que d'hypothèses fondées sur «le postulat de sincérité», ne suffisent pas à lever les contradictions entre les deux évaluations psychiatriques.
En ce qui concerne en particulier la mission de l'expert médical, le docteur E._ indique qu'«il ne s'agit pas seulement de faire des constatations, d'établir un diagnostic, de procéder à une appréciation générale, mais de traduire ces données de manière normative sur un plan juridique» (p. 4 de sa détermination). Cette affirmation laisse supposer que le psychiatre mandaté par l'office intimé attribue à «l'expert médical» un rôle qui dépasse celui du spécialiste en sciences médicales appelé à se prononcer en raison de ses connaissances spécifiques dans ce domaine. On rappellera cependant que l'expert médical a précisément - et uniquement - la mission d'effectuer un examen objectif de la situation médicale de la personne expertisée, de rapporter les constatations médicales qu'il a faites de façon neutre et circonstanciée et de rendre des conclusions qui s'appuient sur des considérations médicales. S'il est souvent appelé à se prononcer sur l'état de santé d'une personne au regard de notions juridiques, l'expert n'a cependant pas pour mission de «traduire des données (médicales) sur un plan juridique», mais de fournir les données techniques qui permettront d'établir les faits sur la base desquels sera prise la décision de l'administration ou du juge. Il incombe donc à l'expert de répondre exclusivement à des questions techniques médicales de son ressort et non à des questions de droit, lesquelles relèvent du domaine de compétence et du pouvoir décisionnel de l'administration et du juge (voir à ce sujet, Jacques Meine, L'expert et l'expertise - critères de validité de l'expertise médicale, in: L'expertise médicale, éd. Médecine & Hygiène, Genève 2002, p. 1 sv.).
Enfin, il n'y a pas lieu d'entrer en matière sur la controverse soulevée par le docteur E._ quant à la validité des tests projectifs réalisés par son confrère K._ par rapport à celle des tests psychométriques qu'il a fait effectuer - dont l'objectivité est du reste remise en question par certains psychiatres parce qu'ils relèveraient somme toute d'un registre proche de celui du «postulat de sincérité» (Ulf Schroeter, Problèmes d'objectivité en expertises psychiatriques et utilisation du système AMDP, in: L'expertise médicale, vol. 2, éd. Médecine & Hygiène, Genève 2005, p. 73).
Enfin, il n'y a pas lieu d'entrer en matière sur la controverse soulevée par le docteur E._ quant à la validité des tests projectifs réalisés par son confrère K._ par rapport à celle des tests psychométriques qu'il a fait effectuer - dont l'objectivité est du reste remise en question par certains psychiatres parce qu'ils relèveraient somme toute d'un registre proche de celui du «postulat de sincérité» (Ulf Schroeter, Problèmes d'objectivité en expertises psychiatriques et utilisation du système AMDP, in: L'expertise médicale, vol. 2, éd. Médecine & Hygiène, Genève 2005, p. 73).
5. En l'absence d'une appréciation médicale suffisamment convaincante sur le point de savoir si et dans quelle mesure le recourant subit une diminution de sa capacité de travail en raison de problèmes d'ordre psychique, il se justifie de renvoyer la cause à l'office intimé pour qu'il procède à une instruction complémentaire sous la forme d'une nouvelle expertise psychiatrique. A cet égard, il convient de préciser qu'au vu du diagnostic évoqué par les deux spécialistes - trouble douloureux associé à une affection médicale générale de degré léger [diagnostic différentiel: trouble douloureux associé à la fois à des facteurs psychologiques et à une affection médicale générale], respectivement syndrome douloureux somatoforme persistant - il incombera à l'expert médical qui sera appelé à se prononcer d'indiquer si et dans quelle mesure l'assuré dispose de ressources psychiques qui lui permettent de surmonter ses douleurs, eu égard aux critères dégagés par la jurisprudence, dans le contexte des troubles somatoformes douloureux, pour admettre à titre exceptionnel le caractère non exigible d'un effort de volonté en vue de surmonter la douleur et de la réintégration dans un processus de travail (sur ces critères, voir <ref-ruling>, 130 V 354 consid. 2.2.3 et P. du 20 avril 2004, I 870/02, consid. 3.3.2). Il s'agira pour lui d'établir de manière objective si, compte tenu de sa constitution physique, l'assuré peut exercer une activité sur le marché du travail, malgré les douleurs qu'il ressent.
5. En l'absence d'une appréciation médicale suffisamment convaincante sur le point de savoir si et dans quelle mesure le recourant subit une diminution de sa capacité de travail en raison de problèmes d'ordre psychique, il se justifie de renvoyer la cause à l'office intimé pour qu'il procède à une instruction complémentaire sous la forme d'une nouvelle expertise psychiatrique. A cet égard, il convient de préciser qu'au vu du diagnostic évoqué par les deux spécialistes - trouble douloureux associé à une affection médicale générale de degré léger [diagnostic différentiel: trouble douloureux associé à la fois à des facteurs psychologiques et à une affection médicale générale], respectivement syndrome douloureux somatoforme persistant - il incombera à l'expert médical qui sera appelé à se prononcer d'indiquer si et dans quelle mesure l'assuré dispose de ressources psychiques qui lui permettent de surmonter ses douleurs, eu égard aux critères dégagés par la jurisprudence, dans le contexte des troubles somatoformes douloureux, pour admettre à titre exceptionnel le caractère non exigible d'un effort de volonté en vue de surmonter la douleur et de la réintégration dans un processus de travail (sur ces critères, voir <ref-ruling>, 130 V 354 consid. 2.2.3 et P. du 20 avril 2004, I 870/02, consid. 3.3.2). Il s'agira pour lui d'établir de manière objective si, compte tenu de sa constitution physique, l'assuré peut exercer une activité sur le marché du travail, malgré les douleurs qu'il ressent.
6. S'agissant d'un litige qui concerne l'octroi ou le refus de prestations d'assurance, la procédure est gratuite (art. 134 OJ). En outre, la partie qui obtient gain de cause a droit à des dépens (art. 135 OJ en corrélation avec l'art. 159 OJ; SVR 1997 IV n° 110 p. 341).

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est admis en ce sens que le jugement du Tribunal cantonal des assurances du canton de Vaud du 7 juillet 2004, ainsi que la décision de l'Office de l'assurance-invalidité pour le canton de Vaud du 14 novembre 2002 sont annulés.
1. Le recours est admis en ce sens que le jugement du Tribunal cantonal des assurances du canton de Vaud du 7 juillet 2004, ainsi que la décision de l'Office de l'assurance-invalidité pour le canton de Vaud du 14 novembre 2002 sont annulés.
2. La cause est renvoyée à l'Office de l'assurance-invalidité pour le canton de Vaud pour complément d'instruction au sens des considérants et nouvelle décision.
2. La cause est renvoyée à l'Office de l'assurance-invalidité pour le canton de Vaud pour complément d'instruction au sens des considérants et nouvelle décision.
3. Il n'est pas perçu de frais de justice.
3. Il n'est pas perçu de frais de justice.
4. L'office intimé versera au recourant la somme de 2'000 fr. (y compris la taxe sur la valeur ajoutée) à titre de dépens pour l'instance fédérale.
4. L'office intimé versera au recourant la somme de 2'000 fr. (y compris la taxe sur la valeur ajoutée) à titre de dépens pour l'instance fédérale.
5. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 20 décembre 2006
Au nom du Tribunal fédéral des assurances
Le Juge présidant la IIIe Chambre: La Greffière: