Faits: Faits: A. M._, né en 1965, a travaillé en qualité de maçon. Le 7 janvier 1998, il a présenté une demande tendant à l'octroi d'une rente de l'assurance-invalidité. L'Office de l'assurance-invalidité du canton de Vaud a recueilli l'avis de divers médecins. En particulier, il a confié une expertise au docteur S._, spécialiste en psychiatrie et psychothérapie (rapport du 15 novembre 2000), ainsi qu'un examen pluridisciplinaire au Service médical régional de l'assurance-invalidité (SMR Léman; rapport du 30 juillet 2002). En outre, il a mis en oeuvre un stage d'observation professionnelle (du 1er au 10 novembre 1998, puis du 22 février au 10 mars 1999) auprès du Centre d'observation professionnelle de l'assurance-invalidité (COPAI), à Z._ (rapport du 6 avril 1999). Par décision du 22 août 2002, l'Office AI a rejeté la demande de rente, motif pris que le taux d'invalidité (17, 88 %) était insuffisant pour ouvrir droit à une telle prestation. Par décision du 22 août 2002, l'Office AI a rejeté la demande de rente, motif pris que le taux d'invalidité (17, 88 %) était insuffisant pour ouvrir droit à une telle prestation. B. Saisi d'un recours contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement du 12 mars 2004. B. Saisi d'un recours contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement du 12 mars 2004. C. M._ interjette recours de droit administratif contre ce jugement, dont il demande l'annulation, en concluant, sous suite de dépens, à l'octroi d'une rente entière d'invalidité. Subsidiairement, il demande le renvoi de la cause à la juridiction cantonale pour instruction complémentaire sous la forme d'une expertise psychiatrique. L'Office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer sur celui-ci.