Faits:
Faits:
A. A.a B._, né en 1952, a travaillé en Suisse en qualité de tailleur de pierres de 1987 à 1993, au service de la marbrerie X._ SA. A partir de novembre 1993, le prénommé a présenté des périodes d'incapacité de travail en raison de douleurs à la colonne vertébrale.
Le 26 août 1994, il présenta une demande de prestations auprès de l'Office AI du canton de Vaud (ci-après : l'Office AI). Dans le cadre de l'instruction de la demande, plusieurs avis médicaux furent recueillis, dont il ressort que l'assuré était atteint de cervico-dorso-lombalgies sur troubles statiques et dégénératifs ainsi que d'un état anxio-dépressif. Les médecins étaient par ailleurs unanimes à déclarer l'assuré inapte à poursuivre son activité de tailleur de pierres.
Du 13 novembre au 8 décembre 1995, l'assuré séjourna au Centre d'observation professionnelle de l'assurance-invalidité (COPAI) à Pomy. Au terme de ce séjour, aussi bien le médecin-conseil que les maîtres du COPAI conclurent que l'intéressé n'était pas en mesure de reprendre une activité lucrative, même légère, compte tenu de l'usure physique et de la faiblesse de ses ressources intellectuelles. L'administration confia une expertise psychiatrique au Département de psychiatrie Y._. Dans un rapport du 5 août 1996, les doctoresses L._, chef de clinique adjoint, et N._, médecin-assistant, toutes deux au service de cet établissement, posèrent le diagnostic de troubles somatoformes douloureux (F 45.4), d'une personnalité fruste et dépendante (F 60.7), de dorsalgies (M 54.4) et d'un état dépressif moyen (F 32.1). Elles parvinrent à la conclusion que l'incapacité de travail de l'assuré était de 80 pour cent. Toute mesure de réadaptation serait au demeurant inutile.
Par décision du 18 novembre 1996, l'Office AI octroya une rente entière d'invalidité à l'assuré avec effet au 1er avril 1995.
A.b En mars 1997, B._ est retourné vivre dans son pays d'origine, le Portugal. Peu de temps après, l'Office AI pour les assurés résidant à l'étranger (ci-après : l'OAI) - à qui le dossier avait entre-temps été transmis - entreprit une procédure de révision du droit à la rente. Après avoir recueilli de nouveaux renseignements médicaux, l'OAI considéra que l'invalidité de l'assuré n'avait pas subi de modification susceptible d'influencer son droit (cf. communication du 15 juin 1998).
A.c Lors d'une nouvelle procédure de révision de la rente, l'OAI s'est fait remettre plusieurs rapports médicaux par les autorités portugaises. A leur lecture, le docteur H._, du Service médical de l'OAI, considéra que l'état psychique de l'assuré n'était plus invalidant depuis le retour de ce dernier au Portugal et l'arrêt de toute activité professionnelle. Cette appréciation se fondait sur un nouvel examen psychiatrique effectué en juillet 2003 par le docteur M._. Le docteur H._ releva toutefois que les dégénérescences au niveau de la colonne vertébrale empêchaient l'assuré de reprendre son activité de tailleur de pierres. En revanche, ces limitations n'interdisaient pas l'exercice - à plein temps - d'une activité légère et adaptée (rapport du 3 novembre 2003).
Retenant que l'assuré pourrait mettre à profit sa capacité de travail dans des activités légères telles que concierge, portier, surveillant, magasinier ou encore livreur, l'OAI procéda à une comparaison des revenus dont il résulta un degré d'invalidité de 33 pour cent. En conséquence, l'OAI informa B._ de son intention de supprimer la rente d'invalidité dont il bénéficiait (cf. projet de décision du 19 janvier 2004).
Ce dernier contesta ce projet en faisant valoir qu'il n'était pas en mesure de travailler en raison de son état de santé. Il produisit plusieurs certificats médicaux qui incitèrent l'administration à demander l'avis de son médecin-conseil. Celui-ci ne releva pas d'aggravation - mais au contraire une amélioration sur le plan psychique - justifiant une incapacité de travail (rapport du docteur H._ du 21 mars 2004). Par décision du 18 mai 2004, l'OAI supprima la rente en cours avec effet au 31 juillet 2004.
A.d L'assuré s'opposa à ladite décision par écriture du 18 juin 2004, complétée le 30 juillet suivant. Sur le vu de cette opposition, l'OAI consulta le docteur A._, psychiatre et médecin-conseil de son service médical, lequel confirma les conclusions du docteur H._ (rapport du docteur A._ du 13 août 2004). Par décision sur opposition du 1er septembre 2004, l'OAI confirma sa décision du 18 mai 2004.
A.d L'assuré s'opposa à ladite décision par écriture du 18 juin 2004, complétée le 30 juillet suivant. Sur le vu de cette opposition, l'OAI consulta le docteur A._, psychiatre et médecin-conseil de son service médical, lequel confirma les conclusions du docteur H._ (rapport du docteur A._ du 13 août 2004). Par décision sur opposition du 1er septembre 2004, l'OAI confirma sa décision du 18 mai 2004.
B. B._ déféra cette décision à la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger, en concluant préalablement à la mise en oeuvre d'une expertise médicale multidisciplinaire et, principalement, à l'annulation de la décision attaquée. Subsidiairement, il requit l'octroi d'une rente entière d'invalidité à partir du 1er août 2004.
Par jugement du 14 janvier 2005, la Commission fédérale de recours admit partiellement le recours et reconnut le droit de B._ à un quart de rente d'invalidité, à partir du 1er août 2004.
Par jugement du 14 janvier 2005, la Commission fédérale de recours admit partiellement le recours et reconnut le droit de B._ à un quart de rente d'invalidité, à partir du 1er août 2004.
C. B._ interjette un recours de droit administratif contre ce jugement dont il demande, sous suite de frais et dépens, principalement la réforme, en concluant derechef à l'octroi d'une rente entière d'invalidité à partir du 1er août 2004; subsidiairement, il requiert l'annulation du jugement attaqué et le renvoi de la cause à l'OAI en vue de la mise en oeuvre d'une expertise médicale pluridisciplinaire. L'OAI conclut au rejet du recours.
De son côté, l'OAI interjette également recours de droit administratif, en concluant à l'annulation du jugement attaqué. B._ a renoncé à se déterminer.
L'Office fédéral des assurances sociales n'a pas déposé d'observations.

Considérant en droit:
Considérant en droit:
1. Les deux recours sont dirigés contre le même jugement, opposent les mêmes parties et portent l'un et l'autre sur un état de faits identique. Il se justifie dès lors de joindre les causes et de statuer par un seul arrêt (<ref-ruling> consid. 1 et les références).
1. Les deux recours sont dirigés contre le même jugement, opposent les mêmes parties et portent l'un et l'autre sur un état de faits identique. Il se justifie dès lors de joindre les causes et de statuer par un seul arrêt (<ref-ruling> consid. 1 et les références).
2. Le litige porte sur la suppression par voie de révision, à partir du 31 juillet 2004, de la rente entière d'invalidité allouée à l'assuré depuis le 1er avril 1995.
2. Le litige porte sur la suppression par voie de révision, à partir du 31 juillet 2004, de la rente entière d'invalidité allouée à l'assuré depuis le 1er avril 1995.
3. Les premiers juges ont exposé correctement les dispositions légales sur la notion d'invalidité (<ref-law> et 8 al. 1 LPGA), l'incapacité de travail (<ref-law>) et de gain (<ref-law>), l'échelonnement des rentes selon le taux d'invalidité (<ref-law>) et la révision de la rente d'invalidité (<ref-law>). Ils ont précisé à juste titre que les dispositions de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP), entré en vigueur le 1er juin 2002, étaient applicables à la présente procédure. Sur ces points, il suffit d'y renvoyer.
3. Les premiers juges ont exposé correctement les dispositions légales sur la notion d'invalidité (<ref-law> et 8 al. 1 LPGA), l'incapacité de travail (<ref-law>) et de gain (<ref-law>), l'échelonnement des rentes selon le taux d'invalidité (<ref-law>) et la révision de la rente d'invalidité (<ref-law>). Ils ont précisé à juste titre que les dispositions de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP), entré en vigueur le 1er juin 2002, étaient applicables à la présente procédure. Sur ces points, il suffit d'y renvoyer.
4. En l'espèce, B._ présentait, au moment de l'octroi de sa rente d'invalidité, des cervico-dorso-lombalgies sur troubles statiques et dégénératifs ainsi que des troubles psychiques. L'ensemble de ces affections entraînait une incapacité totale de travail de l'assuré dans son activité de tailleur de pierres ainsi que dans toute autre activité légère.
Selon les premiers juges, il s'est produit une modification notable de ces circonstances en ce sens que l'intéressé aurait recouvré une capacité de travail de 80 pour cent dans une activité légère et adaptée. Ceux-ci se fondent sur les constatations du service médical des assurances portugaises, selon lequel les atteintes à la santé physique de l'assuré ne l'empêchent plus d'exercer une profession légère, adaptée à ses limitations fonctionnelles (cf. formule E 213 du 9 juin 2003). Cet avis a été émis après un examen détaillé. Convaincant, les premiers juges pouvaient à bon droit le suivre.
Sur le plan psychique, les premiers juges retiennent une amélioration de l'état de santé de l'assuré. Ils se fondent sur le rapport du docteur M._, de juillet 2003, lequel relève que l'assuré ne présente plus de psycho-pathologie entrant dans une classification diagnostique.
B._ conteste ce point de vue, faisant valoir que le rapport du docteur M._ de juillet 2003 n'a pas pleine valeur probante. Selon lui, ce rapport serait quasi-superposable au rapport établi par le même médecin en 1997, mis à part le fait qu'il arriverait à des conclusions aujourd'hui diamétralement opposées.
En l'espèce, la crédibilité du rapport du docteur M._ ne saurait guère être mise en doute. En effet, ce médecin a déjà été amené à examiner l'assuré en 1997, au cours d'une première procédure de révision du droit à la rente. A cette occasion, le psychiatre avait posé le diagnostic de dysthymie marquée (F34.1), sur fond dépressif. Ce diagnostic s'appuyait sur les critères d'un système de classification reconnu et entraînait, selon le médecin, une incapacité de travail de 70 pour cent. Ses conclusions avaient d'ailleurs amené l'administration à confirmer la rente entière allouée au recourant. En 2003, ce même médecin a été de nouveau appelé à se prononcer sur la situation de l'intéressé. L'histoire personnelle du patient étant connue du médecin, celui-ci a repris les principaux éléments de l'anamnèse de 1997. Pour le reste, et contrairement à ce qu'allègue l'assuré, ce nouveau rapport n'est pas superposable au précédent puisqu'il constate une évolution au niveau de l'atteinte à la santé de l'assuré, en ce sens que l'affection psychique a évolué favorablement.
De son côté, l'assuré a produit un rapport de son médecin traitant et psychiatre, le docteur C._, dans lequel ce dernier fait état d'une dépression réactive anxieuse et chronique, s'aggravant de jour en jour et rendant l'assuré incapable de travailler (cf. rapport du 19 février 2005). On peut s'étonner qu'en procédure d'opposition puis en instance cantonale, l'assuré n'ait pas produit un rapport de ce médecin par lequel il affirme pourtant être suivi depuis 1997. Quoi qu'il en soit, le rapport du docteur C._ ne fait que relater les plaintes de l'assuré, sans aucune motivation. Il n'est dès lors pas propre à jeter un doute, à tout le moins suffisant, sur l'appréciation du docteur M._.
De son côté, l'assuré a produit un rapport de son médecin traitant et psychiatre, le docteur C._, dans lequel ce dernier fait état d'une dépression réactive anxieuse et chronique, s'aggravant de jour en jour et rendant l'assuré incapable de travailler (cf. rapport du 19 février 2005). On peut s'étonner qu'en procédure d'opposition puis en instance cantonale, l'assuré n'ait pas produit un rapport de ce médecin par lequel il affirme pourtant être suivi depuis 1997. Quoi qu'il en soit, le rapport du docteur C._ ne fait que relater les plaintes de l'assuré, sans aucune motivation. Il n'est dès lors pas propre à jeter un doute, à tout le moins suffisant, sur l'appréciation du docteur M._.
5. On a vu qu'à l'origine l'octroi de la rente d'invalidité avait été motivée par une incapacité totale de travailler dans l'activité de tailleur de pierres pour des raisons somatiques et dans toute autre activité, même légère, en raison des problèmes psychiques. Or, d'un point de vue somatique, si la situation de l'assuré ne lui permet pas de reprendre son activité antérieure de tailleur de pierres, elle ne l'empêche nullement d'exercer des activités légères. Quant à son état psychique, il n'est plus un obstacle à la reprise d'une activité de ce genre (cf. consid. 4 supra).
La juridiction cantonale a estimé que l'assuré pouvait certes reprendre une activité légère mais avec un rendement de 80 pour cent seulement. Elle a motivé son point de vue par le fait que ce dernier n'avait plus repris d'activité professionnelle depuis 1994 ainsi que par un vieillissement précoce après trente ans d'activité en qualité de tailleur de pierres.
La juridiction cantonale a estimé que l'assuré pouvait certes reprendre une activité légère mais avec un rendement de 80 pour cent seulement. Elle a motivé son point de vue par le fait que ce dernier n'avait plus repris d'activité professionnelle depuis 1994 ainsi que par un vieillissement précoce après trente ans d'activité en qualité de tailleur de pierres.
6. L'OAI conteste l'appréciation de la juridiction cantonale. Il estime que les difficultés que pouvait rencontrer l'assuré sur le marché du travail après avoir été inactif pendant une dizaine d'années sont un facteur étranger à l'invalidité. D'autre part, l'office reproche à la juridiction cantonale de s'être fondée sur certains éléments de l'expertise du COPAI réalisée en 1995 pour apprécier la capacité de rendement de l'assuré en 2004.
Comme le relève à juste titre l'OAI, il n'y a pas lieu de tenir compte de l'état de fait prévalant au moment de l'octroi de la rente d'invalidité pour déterminer la capacité travail de l'assuré au moment de la décision visant à supprimer celle-ci. En matière de révision, il convient plutôt de comparer les deux situations de fait afin d'établir une éventuelle modification conduisant à l'augmentation, la diminution ou la suppression de la rente. Dès lors, la juridiction cantonale ne pouvait motiver une diminution de rendement de l'assuré qu'en se fondant sur des considérations médicales sur la situation de l'assuré à l'époque de la révision de sa rente d'invalidité. Or, ces considérations médicales permettent de conclure à une capacité de travail de 100 pour cent dans une activité légère. C'est donc sur cette base qu'il faut évaluer l'invalidité.
Comme le relève à juste titre l'OAI, il n'y a pas lieu de tenir compte de l'état de fait prévalant au moment de l'octroi de la rente d'invalidité pour déterminer la capacité travail de l'assuré au moment de la décision visant à supprimer celle-ci. En matière de révision, il convient plutôt de comparer les deux situations de fait afin d'établir une éventuelle modification conduisant à l'augmentation, la diminution ou la suppression de la rente. Dès lors, la juridiction cantonale ne pouvait motiver une diminution de rendement de l'assuré qu'en se fondant sur des considérations médicales sur la situation de l'assuré à l'époque de la révision de sa rente d'invalidité. Or, ces considérations médicales permettent de conclure à une capacité de travail de 100 pour cent dans une activité légère. C'est donc sur cette base qu'il faut évaluer l'invalidité.
7. En l'espèce, les revenus d'assuré valide (5'651 fr. 23 par mois) et d'invalide (3'798 fr. 93) ne sont, en soi, pas contestés. Dans la mesure où l'on doit admettre que l'assuré peut mettre à profit sa capacité de gain avec un rendement de 100 pour cent, la comparaison des revenus aboutit à une perte de gain correspondant à un degré d'invalidité de 33 pour cent, lequel est insuffisant pour ouvrir tout droit à une rente. Le recours de l'OAI est dès lors bien fondé.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Les causes I 155/05 et I 175/05 sont jointes.
1. Les causes I 155/05 et I 175/05 sont jointes.
2. Le recours de B._ est rejeté.
2. Le recours de B._ est rejeté.
3. Le recours de l'Office AI pour les assurés résidant à l'étranger est admis. Le jugement de la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger du 14 janvier 2005 est annulé.
3. Le recours de l'Office AI pour les assurés résidant à l'étranger est admis. Le jugement de la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger du 14 janvier 2005 est annulé.
4. Il n'est pas perçu de frais de justice ni alloué de dépens.
4. Il n'est pas perçu de frais de justice ni alloué de dépens.
5. Le présent arrêt sera communiqué aux parties, à la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger et à l'Office fédéral des assurances sociales.
Lucerne, le 30 août 2005
Au nom du Tribunal fédéral des assurances
Le Président de la IIe Chambre: La Greffière: