Faits:
Faits:
A. S._, né en 1969, est titulaire d'un CFC d'employé de bureau. Il a exercé l'activité de gérant d'un magasin de disque jusqu'au 19 novembre 1996, date à laquelle il a été déclaré incapable de travailler par son médecin traitant, le docteur A._, en raison de gonalgies. Le 23 janvier 1998, S._ a présenté une demande de prestations de l'assurance-invalidité tendant à une rééducation dans la même profession ou à l'octroi d'une rente.
Interpellé par l'Office AI pour le canton de Vaud (ci-après: l'office AI), le docteur A._ a fait état d'un syndrome rotulien sur hyperpression externe de la rotule avec chondropathie et tendinopathie rotulienne gauche, ainsi que d'un syndrome dépressif réactionnel (rapports des 24 février 1998 et 3 mai 1999). De son côté, le docteur E._, spécialiste FMH en médecine interne et en maladies rhumatismales, que l'assuré avait consulté une fois en juin 1997 sur recommandation de son médecin traitant, a indiqué, dans un rapport du 1er mars 2000 établi à l'intention de l'AI, que d'après ses constatations d'alors, l'activité d'employé de bureau était parfaitement adaptée aux troubles du genou de l'intéressé. Se fondant sur ces documents, l'office AI a rendu un projet de décision par lequel il refusait tout droit aux prestations. L'assuré ayant contesté ce projet de décision, l'office AI a confié une expertise au docteur E._, qui a, dans les grandes lignes, confirmé sa précédente évaluation tout en recommandant un examen psychiatrique (rapport du 5 juillet 2001). S._ a été examiné au Service médical régional AI (SMR) par le docteur V._, psychiatre, qui a diagnostiqué un trouble de l'adaptation à prédominance anxieuse chez une personnalité émotionnellement labile, et estimé que les manifestations anxieuses ne jouaient pas de rôle déterminant quant à sa capacité de travail (rapport d'examen psychiatrique du 21 décembre 2001).
Se fondant sur ces pièces médicales, l'office AI a rejeté la demande de prestations, considérant que S._ jouissait d'une capacité de travail entière dans sa profession, parfaitement adaptée à ses problèmes de santé (décision du 9 avril 2002).
Se fondant sur ces pièces médicales, l'office AI a rejeté la demande de prestations, considérant que S._ jouissait d'une capacité de travail entière dans sa profession, parfaitement adaptée à ses problèmes de santé (décision du 9 avril 2002).
B. L'assuré a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud, en requérant la mise en oeuvre d'une expertise médicale.
Après avoir soumis un questionnaire médical aux docteurs A._, W._ (psychiatre) et J._ (spécialiste FMH en médecine interne), tous trois médecins traitants de S._, le tribunal a rejeté le recours ( jugement du 17 juin 2003).
Après avoir soumis un questionnaire médical aux docteurs A._, W._ (psychiatre) et J._ (spécialiste FMH en médecine interne), tous trois médecins traitants de S._, le tribunal a rejeté le recours ( jugement du 17 juin 2003).
C. S._ interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation. Il conclut au renvoi de la cause à l'office AI pour instruction sous la forme d'une expertise médicale pluridisciplinaire.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
Considérant en droit:
1. La loi fédérale sur la partie générale du droit des assurances sociales (LPGA), du 6 octobre 2000, entrée en vigueur le 1er janvier 2003, n'est pas applicable en l'espèce, le juge des assurances sociales n'ayant pas à tenir compte des modifications du droit ou de l'état de fait survenues après que la décision litigieuse du 9 avril 2002 a été rendue (cf. ATF 127 V 467 consid. 1, 121 V 366 consid. 1b).
Pour les mêmes motifs, les dispositions de la novelle du 21 mars 2003 modifiant la LAI (4ème révision), entrée en vigueur le 1er janvier 2004 (RO 2003 3852) ne sont pas applicables.
Pour les mêmes motifs, les dispositions de la novelle du 21 mars 2003 modifiant la LAI (4ème révision), entrée en vigueur le 1er janvier 2004 (RO 2003 3852) ne sont pas applicables.
2. Le jugement entrepris expose de manière correcte les dispositions légales sur les conditions du droit à une rente d'invalidité, ainsi que les règles régissant l'appréciation des rapports médicaux, de sorte qu'il suffit d'y renvoyer.
On rappellera néanmoins que l'élément déterminant pour la valeur probante d'un rapport médical n'est ni son origine ni sa désignation sous la forme d'un rapport ou d'une expertise, mais bel et bien son contenu. A cet égard, il importe que les points litigieux importants aient fait l'objet d'une étude fouillée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées, qu'il ait été établi en pleine connaissance du dossier (anamnèse), que la description du contexte médical soit claire et enfin que les conclusions de l'expert soient bien motivées (ATF 122 V 160 consid. 1c et les références; VSI 2000 p. 154 consid. 2c).
On rappellera néanmoins que l'élément déterminant pour la valeur probante d'un rapport médical n'est ni son origine ni sa désignation sous la forme d'un rapport ou d'une expertise, mais bel et bien son contenu. A cet égard, il importe que les points litigieux importants aient fait l'objet d'une étude fouillée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées, qu'il ait été établi en pleine connaissance du dossier (anamnèse), que la description du contexte médical soit claire et enfin que les conclusions de l'expert soient bien motivées (ATF 122 V 160 consid. 1c et les références; VSI 2000 p. 154 consid. 2c).
3. Le recourant reproche essentiellement aux premiers juges de n'avoir pas mis en oeuvre une expertise pluridisciplinaire. Il considère qu'une telle expertise se justifie vu la divergence d'opinion entre les différents médecins qui se sont prononcés sur son cas. En effet, alors que le docteur E._ estime sa capacité de travail totale, le docteur J._ l'évalue à 50 % et son médecin traitant inférieure à 20 %. Par ailleurs, l'influence de son état psychique sur son aptitude à travailler n'aurait pas fait l'objet d'un examen suffisamment approfondi, le rapport du docteur V._ (du SMR) ne pouvant être considéré comme une expertise psychiatrique.
3. Le recourant reproche essentiellement aux premiers juges de n'avoir pas mis en oeuvre une expertise pluridisciplinaire. Il considère qu'une telle expertise se justifie vu la divergence d'opinion entre les différents médecins qui se sont prononcés sur son cas. En effet, alors que le docteur E._ estime sa capacité de travail totale, le docteur J._ l'évalue à 50 % et son médecin traitant inférieure à 20 %. Par ailleurs, l'influence de son état psychique sur son aptitude à travailler n'aurait pas fait l'objet d'un examen suffisamment approfondi, le rapport du docteur V._ (du SMR) ne pouvant être considéré comme une expertise psychiatrique.
4. 4.1 Expert mandaté par l'office AI pour se prononcer sur la capacité de travail de l'assuré, le docteur E._ l'a examiné à trois reprises et complété le dossier mis à sa disposition par l'apport de nombreux comptes rendus de consultations médicales antérieures, y compris les bilans radiologiques pratiqués depuis 1986; il a également pris contact avec les médecins traitants de l'intéressé, dont notamment les docteurs A._ et J._. Au terme de ses investigations, l'expert a retenu les diagnostics de cervico-dorso-lombalgies d'évolution chronique rentrant dans le cadre de troubles somatoformes douloureux, de petite hernie discale médiane L4-L5, ainsi que de syndrome rotulien gauche avec chondropathie rotulienne et kystes synoviaux dans la partie supéro-interne du genou et postérieur au tendon du demi-membraneux. Le handicap fonctionnel perçu par l'assuré était en nette discordance avec les constatations cliniques et para-cliniques qu'il avait faites: les troubles objectifs du dos étaient somme toute assez discrets et l'examen clinique des genoux normal; la boiterie de décharge que l'assuré présentait depuis de nombreuses années ne trouvait par exemple aucune justification médicale. Aussi bien le docteur E._ a-t-il estimé que, sur un plan strictement somatique, S._ était apte à exercer sa profession d'employé de bureau - idéale pour son état de santé - à un taux d'activité compris entre 80 % et 100 %. Il a cependant ajouté qu'une «souffrance psychologique» influait probablement sur la chronicité des plaintes douloureuses, si bien qu'en complément de son expertise somatique, un examen psychiatrique était indiqué (rapport du 5 juillet 2001).
Motivé de manière convaincante, rendu au terme d'examens cliniques approfondis ainsi que d'une étude particulièrement fouillée du dossier médical, et prenant en considération les plaintes de l'assuré, ce rapport remplit toutes les exigences auxquelles la jurisprudence soumet la valeur probante d'un tel document (voir consid. 2 supra). Avec les premiers juges, on doit convenir que les avis exprimés par les docteurs A._ et J._ sur demande du juge-instructeur cantonal (rapports établis respectivement les 11 mars et 17 avril 2003) ne justifient pas que l'on s'en écarte. D'une part, ceux-ci n'ont fait état d'aucune affection physique qui n'ait été prise en compte et discutée par l'expert. D'autre part, leurs conclusions semblent aussi se rapporter à un éventuel problème d'ordre psychique chez l'assuré sur lequel le docteur E._ n'avait pas à se prononcer. Il faut dès lors admettre que la situation médicale de S._ est suffisamment élucidée en ce qui concerne ses troubles physiques et que ce nonobstant, il conserve une capacité de travail entière.
4.2 On ne peut en dire autant en ce qui concerne l'aspect psychique de l'état de santé du recourant. Au regard des conclusions du docteur E._, la démarche de l'office AI de faire examiner l'assuré par un psychiatre, en l'occurrence le docteur V._ du SMR, était assurément nécessaire. Force est de constater toutefois que le rapport d'examen psychiatrique (du 21 décembre 2001) de ce médecin est insuffisant, sous un angle aussi bien formel que matériel, pour qu'on puisse se convaincre à satisfaction de droit que l'aptitude à travailler de l'assuré n'est pas entravée de manière significative sur un plan psychique. Tout d'abord, il est impossible pour le lecteur de savoir sur quelle base le docteur V._ s'est forgé son opinion (entretien personnel, tests psychologiques, dossier médical etc.?); ni le contexte médical de l'assuré, ni l'objet de la mission d'expertise ne sont décrits à suffisance et les conclusions rendues ne sont guère plus motivées. Ensuite, le psychiatre n'a pas du tout pris position sur le diagnostic de troubles somatoformes douloureux évoqué par le docteur E._, alors que c'est principalement l'inadéquation entre le status clinique observé et l'importance des douleurs ressenties par l'assuré qui a amené ce médecin à préconiser la mise en oeuvre d'une expertise psychiatrique. Certes, le docteur V._ est-t-il parvenu à la conclusion que S._ ne présentait pas de comorbidité psychiatrique. On précisera cependant que si des troubles somatoformes douloureux persistants n'entraînent pas, en règle générale, une limitation de longue durée de la capacité de travail pouvant conduire à une invalidité au sens de l'art. 4 al. 1 LAI, l'absence d'une comorbidité psychiatrique grave ne suffit pas encore à l'exclure; d'autres critères entrent également en ligne de compte pour trancher la question de savoir si on peut exiger d'un assuré qu'il mette en oeuvre toute sa volonté pour surmonter ses douleurs et réintégrer le monde du travail (sur ces critères voir l'arrêt N. du 12 mars 2003 destiné à la publication, I 683/03; également l'arrêt O. du 23 juin 2004, I 272/03). Or, le rapport du docteur V._ ne contient pas les informations utiles pour statuer sur ce point. On ne peut rien inférer non plus de la réponse (du 2 avril 2003) de la doctoresse W._ dans la mesure où cette dernière s'est limitée à déclarer qu'en raison de l'attitude rigide du recourant, un travail psychologique sur la douleur était pour l'heure impossible, de sorte qu'elle n'était pas en mesure de se prononcer sur son aptitude à travailler. Il en va de même de la prise de position du docteur L._ (du SMR) du 6 mai 2003 produite par l'office intimé en procédure cantonale.
4.3 Il convient par conséquent de renvoyer la cause à l'intimé afin qu'il mette en oeuvre une expertise psychiatrique qui réponde aux réquisits précisés par la jurisprudence concernant la valeur probante d'un rapport médical (voir consid. 2 supra). Au cas où le diagnostic posé par le docteur E._ devrait se confirmer, il appartiendra à l'expert psychiatre de fournir à l'office AI tous les éléments permettant à ce dernier de déterminer avec précision l'incidence des troubles somatoformes douloureux sur la capacité de travail de l'assuré à la lumière de la jurisprudence récente de la Cour de céans en la matière (voir les arrêts cités au consid. 4.2 supra). Après quoi, l'office AI rendra une nouvelle décision.
Le recours se révèle ainsi bien fondé.
Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est admis en ce sens que le jugement du Tribunal des assurances du canton de Vaud du 17 juin 2003, ainsi que la décision de l'Office AI pour le canton de Vaud du 9 avril 2002 sont annulés, la cause étant renvoyé à cet office pour instruction complémentaire au sens des considérants et nouvelle décision.
1. Le recours est admis en ce sens que le jugement du Tribunal des assurances du canton de Vaud du 17 juin 2003, ainsi que la décision de l'Office AI pour le canton de Vaud du 9 avril 2002 sont annulés, la cause étant renvoyé à cet office pour instruction complémentaire au sens des considérants et nouvelle décision.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. L'Office AI pour le canton de Vaud versera au recourant la somme de 2'000 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour l'instance fédérale.
3. L'Office AI pour le canton de Vaud versera au recourant la somme de 2'000 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour l'instance fédérale.
4. Le Tribunal des assurances du canton de Vaud statuera à nouveau sur les dépens de première instance au regard de l'issue du litige en procédure fédérale.
4. Le Tribunal des assurances du canton de Vaud statuera à nouveau sur les dépens de première instance au regard de l'issue du litige en procédure fédérale.
5. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 28 juillet 2004
Au nom du Tribunal fédéral des assurances
Le Président de la IIe Chambre: La Greffière: