Faits: Faits: A. M._, ressortissant italien né en 1948, célibataire, a travaillé comme peintre en bâtiment au service de la société P._ SA jusqu'au 1er septembre 1998, date à laquelle il a été déclaré incapable de travailler par son médecin traitant, le docteur O._. Son contrat de travail a été résilié au 30 septembre 1999. Le 22 juillet 1999, M._ a requis des prestations de l'assurance-invalidité. La doctoresse B._, spécialiste en rhumatologie, a posé différents diagnostics, dont ceux de cervico-scapulalgies droites sur différentes altérations, tunnel carpien droit anamnestique et électromyographique, dorso-lombalgies et DD état dépressif avec surcharge psychogène (rapport du 1er mars 1999). Elle préconisait des investigations médicales supplémentaires sur le plan neurologique, neuro-radiologique et psychiatrique, et évaluait la capacité de travail du patient à 50% dans son activité de peintre, en évitant les travaux avec hyperextension du rachis cervical, comme la peinture au plafond (complément du 24 mars 1999). Des examens neurologiques complémentaires ont fait apparaître une discrète discopathie C5-D1, ainsi qu'un discret syndrome du tunnel carpien, tout en excluant une atteinte invalidante sur le plan neurologique (rapports du docteur C._ des 20 avril et 8 novembre 1999). Après avoir recueilli d'autres avis médicaux, ainsi que des renseignements auprès de l'ancien employeur, l'Office AI pour le canton de Vaud (ci-après: l'office AI) a chargé le docteur S._, spécialiste FMH en psychiatrie et psychothérapie, d'une expertise. Dans son rapport daté du 15 décembre 2000, ce médecin a fait état d'un trouble douloureux associé à des facteurs psychologiques et une affection médicale générale chronique; il a conclu à une capacité de travail de 100% du point de vue psychiatrique dans la profession de peintre en bâtiment, comme dans toute activité adaptée aux problèmes ostéo-articulaires. De son côté, l'assuré a fait verser à son dossier un rapport du docteur G._ et de la psychologue E._ du Département X._ (du 24 janvier 2002). Ces derniers ont diagnostiqué un syndrome douloureux somatoforme persistant et un épisode dépressif moyen; selon eux, l'assuré disposait d'une capacité de travail résiduelle théorique d'environ un tiers. Se fondant sur le rapport du docteur S._, l'office AI a, par décision du 21 mars 2002, rejeté la demande de prestations, considérant que l'assuré était capable de travailler à plein temps dans une activité adaptée, lui permettant d'obtenir un revenu de 22,34% inférieur à celui qu'il réalisait auprès de son ancien employeur. Se fondant sur le rapport du docteur S._, l'office AI a, par décision du 21 mars 2002, rejeté la demande de prestations, considérant que l'assuré était capable de travailler à plein temps dans une activité adaptée, lui permettant d'obtenir un revenu de 22,34% inférieur à celui qu'il réalisait auprès de son ancien employeur. B. M._ a déféré la décision de l'office AI au Tribunal des assurances du canton de Vaud. Alors que le tribunal a invité le docteur S._ à se prononcer sur le rapport du Département X._ (détermination du 18 octobre 2002), l'assuré a produit une prise de position du docteur G._ sur l'expertise de son confrère (détermination du 9 décembre 2002). Par jugement du 28 mars 2003, le tribunal a débouté l'assuré. B. M._ a déféré la décision de l'office AI au Tribunal des assurances du canton de Vaud. Alors que le tribunal a invité le docteur S._ à se prononcer sur le rapport du Département X._ (détermination du 18 octobre 2002), l'assuré a produit une prise de position du docteur G._ sur l'expertise de son confrère (détermination du 9 décembre 2002). Par jugement du 28 mars 2003, le tribunal a débouté l'assuré. C. M._ interjette recours de droit administratif contre ce jugement dont il requiert l'annulation. Sous suite de frais et dépens, il conclut, principalement, à l'octroi d'une rente d'invalidité entière; à titre subsidiaire, il requiert que soit ordonnée une expertise pluridisciplinaire, voire que la cause soit renvoyée à cette fin à la juridiction cantonale pour instruction complémentaire. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.