Faits: Faits: A. A.a B._, ressortissant portugais né en 1958 - alors ouvrier-machiniste de presses auprès du Service d'assainissement de X._ - a été victime d'un accident professionnel le 28 octobre 1998. Il a chuté en descendant d'une échelle, ce qui a provoqué une rupture partielle du tendon du muscle sus-épineux avec conflit sous-acromial de l'épaule gauche, pour laquelle il a subi une intervention chirurgicale (arthroscopie et acromioplastie) le 12 avril 1999. La Caisse nationale suisse d'assurance en cas d'accidents (CNA) a pris en charge le cas. Reprenant le travail au cours de l'été 1999, B._ a continué à souffrir de cervico-brachialgies gauches. En raison de l'aggravation des douleurs, il a été mis en arrêt de travail, d'abord partiel, puis total à partir du 4 juillet 2000 et adressé à la Clinique Y._, où il a séjourné du 4 octobre au 15 novembre suivant. Dans un rapport du 25 décembre 2000, les médecins de la clinique ont estimé que l'assuré, qui présentait notamment un état dépressif majeur, était totalement incapable de travailler dans sa profession, mais disposait d'une capacité de travail «quasiment totale» dans une activité adaptée (sans port de charges lourdes, ni mouvement répétitif en contrainte du bras gauche, ni ne dépassant l'horizontale). Après avoir requis l'avis du docteur S._, spécialiste FMH en chirurgie orthopédique, et examiné à son tour l'assuré, le docteur O._, médecin-conseil de la CNA, a indiqué que la mobilité passive de l'épaule était difficile à évaluer à cause d'une défense volontaire de la part du patient, l'impression qui prévalait étant celle d'un trouble fonctionnel sans relation avec les lésions organiques démontrables; il concluait qu'une capacité de travail entière dans une activité adaptée, exercée à hauteur d'établi, était exigible (rapport d'examen du 31 janvier 2002). Par décision du 21 mars 2002, confirmée le 3 mai 2002 sur opposition de l'assuré, la CNA a alloué à B._ une rente d'invalidité fondée sur un taux d'invalidité de 39 % à compter du 1er mai 2002, ainsi qu'une indemnité pour atteinte à l'intégrité d'un taux de 5 %. A.b Entre-temps, le 4 décembre 2000, l'assuré a présenté une demande de prestations de l'assurance-invalidité. Après avoir mis en oeuvre un stage d'observation professionnelle, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli des renseignements médicaux, notamment auprès de la doctoresse E._ de l'Hôpital Z._ (rapport du 6 février 2001). Il a par ailleurs chargé son Service médical régional (SMR) d'examiner l'assuré. Au terme d'un examen clinique et psychiatrique, les docteurs F._ et V._ ont diagnostiqué une limitation fonctionnelle sur contracture musculaire cervico-scapulaire après acromio-plastie arthroscopique et lésion partielle du sus-épineux de l'épaule gauche, ainsi qu'un trouble somatoforme douloureux; selon eux, cette atteinte psychique ne justifiait pas une incapacité de travail, l'assuré étant par ailleurs en mesure d'exercer une activité adaptée à plein temps (rapport du 10 septembre 2002). Se fondant sur leurs avis, ainsi que sur les pièces médicales de la CNA apportées au dossier, l'office AI a, par décision du 5 mars 2003, confirmée par décision sur opposition du 31 juillet 2003, rejeté la demande de prestations. Il a considéré que l'assuré était en mesure d'exercer une activité adaptée à plein temps qui lui permettait de réaliser un revenu de 45'016 fr. 80; la perte économique (de 38,09 %) en résultant par comparaison avec le revenu obtenu avant l'invalidité n'était pas susceptible d'ouvrir le droit à une rente. A.b Entre-temps, le 4 décembre 2000, l'assuré a présenté une demande de prestations de l'assurance-invalidité. Après avoir mis en oeuvre un stage d'observation professionnelle, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli des renseignements médicaux, notamment auprès de la doctoresse E._ de l'Hôpital Z._ (rapport du 6 février 2001). Il a par ailleurs chargé son Service médical régional (SMR) d'examiner l'assuré. Au terme d'un examen clinique et psychiatrique, les docteurs F._ et V._ ont diagnostiqué une limitation fonctionnelle sur contracture musculaire cervico-scapulaire après acromio-plastie arthroscopique et lésion partielle du sus-épineux de l'épaule gauche, ainsi qu'un trouble somatoforme douloureux; selon eux, cette atteinte psychique ne justifiait pas une incapacité de travail, l'assuré étant par ailleurs en mesure d'exercer une activité adaptée à plein temps (rapport du 10 septembre 2002). Se fondant sur leurs avis, ainsi que sur les pièces médicales de la CNA apportées au dossier, l'office AI a, par décision du 5 mars 2003, confirmée par décision sur opposition du 31 juillet 2003, rejeté la demande de prestations. Il a considéré que l'assuré était en mesure d'exercer une activité adaptée à plein temps qui lui permettait de réaliser un revenu de 45'016 fr. 80; la perte économique (de 38,09 %) en résultant par comparaison avec le revenu obtenu avant l'invalidité n'était pas susceptible d'ouvrir le droit à une rente. B. B._ a déféré cette décision au Tribunal des assurances du canton de Vaud qui a fait verser à la procédure le dossier de la CNA. Statuant le 9 septembre 2004, le tribunal a débouté l'assuré. B. B._ a déféré cette décision au Tribunal des assurances du canton de Vaud qui a fait verser à la procédure le dossier de la CNA. Statuant le 9 septembre 2004, le tribunal a débouté l'assuré. C. B._ interjette un recours de droit administratif contre ce jugement dont il demande l'annulation. Sous suite de frais et dépens, il conclut principalement à l'octroi d'une rente entière de l'assurance-invalidité; à titre subsidiaire, il demande le renvoi de la cause à la juridiction cantonale pour qu'elle ordonne une expertise psychiatrique. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.