Faits: Faits: A. A.a B._, né en 1952, a travaillé en Suisse en qualité de tailleur de pierres de 1987 à 1993, au service de la marbrerie X._ SA. A partir de novembre 1993, le prénommé a présenté des périodes d'incapacité de travail en raison de douleurs à la colonne vertébrale. Le 26 août 1994, il présenta une demande de prestations auprès de l'Office AI du canton de Vaud (ci-après : l'Office AI). Dans le cadre de l'instruction de la demande, plusieurs avis médicaux furent recueillis, dont il ressort que l'assuré était atteint de cervico-dorso-lombalgies sur troubles statiques et dégénératifs ainsi que d'un état anxio-dépressif. Les médecins étaient par ailleurs unanimes à déclarer l'assuré inapte à poursuivre son activité de tailleur de pierres. Du 13 novembre au 8 décembre 1995, l'assuré séjourna au Centre d'observation professionnelle de l'assurance-invalidité (COPAI) à Pomy. Au terme de ce séjour, aussi bien le médecin-conseil que les maîtres du COPAI conclurent que l'intéressé n'était pas en mesure de reprendre une activité lucrative, même légère, compte tenu de l'usure physique et de la faiblesse de ses ressources intellectuelles. L'administration confia une expertise psychiatrique au Département de psychiatrie Y._. Dans un rapport du 5 août 1996, les doctoresses L._, chef de clinique adjoint, et N._, médecin-assistant, toutes deux au service de cet établissement, posèrent le diagnostic de troubles somatoformes douloureux (F 45.4), d'une personnalité fruste et dépendante (F 60.7), de dorsalgies (M 54.4) et d'un état dépressif moyen (F 32.1). Elles parvinrent à la conclusion que l'incapacité de travail de l'assuré était de 80 pour cent. Toute mesure de réadaptation serait au demeurant inutile. Par décision du 18 novembre 1996, l'Office AI octroya une rente entière d'invalidité à l'assuré avec effet au 1er avril 1995. A.b En mars 1997, B._ est retourné vivre dans son pays d'origine, le Portugal. Peu de temps après, l'Office AI pour les assurés résidant à l'étranger (ci-après : l'OAI) - à qui le dossier avait entre-temps été transmis - entreprit une procédure de révision du droit à la rente. Après avoir recueilli de nouveaux renseignements médicaux, l'OAI considéra que l'invalidité de l'assuré n'avait pas subi de modification susceptible d'influencer son droit (cf. communication du 15 juin 1998). A.c Lors d'une nouvelle procédure de révision de la rente, l'OAI s'est fait remettre plusieurs rapports médicaux par les autorités portugaises. A leur lecture, le docteur H._, du Service médical de l'OAI, considéra que l'état psychique de l'assuré n'était plus invalidant depuis le retour de ce dernier au Portugal et l'arrêt de toute activité professionnelle. Cette appréciation se fondait sur un nouvel examen psychiatrique effectué en juillet 2003 par le docteur M._. Le docteur H._ releva toutefois que les dégénérescences au niveau de la colonne vertébrale empêchaient l'assuré de reprendre son activité de tailleur de pierres. En revanche, ces limitations n'interdisaient pas l'exercice - à plein temps - d'une activité légère et adaptée (rapport du 3 novembre 2003). Retenant que l'assuré pourrait mettre à profit sa capacité de travail dans des activités légères telles que concierge, portier, surveillant, magasinier ou encore livreur, l'OAI procéda à une comparaison des revenus dont il résulta un degré d'invalidité de 33 pour cent. En conséquence, l'OAI informa B._ de son intention de supprimer la rente d'invalidité dont il bénéficiait (cf. projet de décision du 19 janvier 2004). Ce dernier contesta ce projet en faisant valoir qu'il n'était pas en mesure de travailler en raison de son état de santé. Il produisit plusieurs certificats médicaux qui incitèrent l'administration à demander l'avis de son médecin-conseil. Celui-ci ne releva pas d'aggravation - mais au contraire une amélioration sur le plan psychique - justifiant une incapacité de travail (rapport du docteur H._ du 21 mars 2004). Par décision du 18 mai 2004, l'OAI supprima la rente en cours avec effet au 31 juillet 2004. A.d L'assuré s'opposa à ladite décision par écriture du 18 juin 2004, complétée le 30 juillet suivant. Sur le vu de cette opposition, l'OAI consulta le docteur A._, psychiatre et médecin-conseil de son service médical, lequel confirma les conclusions du docteur H._ (rapport du docteur A._ du 13 août 2004). Par décision sur opposition du 1er septembre 2004, l'OAI confirma sa décision du 18 mai 2004. A.d L'assuré s'opposa à ladite décision par écriture du 18 juin 2004, complétée le 30 juillet suivant. Sur le vu de cette opposition, l'OAI consulta le docteur A._, psychiatre et médecin-conseil de son service médical, lequel confirma les conclusions du docteur H._ (rapport du docteur A._ du 13 août 2004). Par décision sur opposition du 1er septembre 2004, l'OAI confirma sa décision du 18 mai 2004. B. B._ déféra cette décision à la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger, en concluant préalablement à la mise en oeuvre d'une expertise médicale multidisciplinaire et, principalement, à l'annulation de la décision attaquée. Subsidiairement, il requit l'octroi d'une rente entière d'invalidité à partir du 1er août 2004. Par jugement du 14 janvier 2005, la Commission fédérale de recours admit partiellement le recours et reconnut le droit de B._ à un quart de rente d'invalidité, à partir du 1er août 2004. Par jugement du 14 janvier 2005, la Commission fédérale de recours admit partiellement le recours et reconnut le droit de B._ à un quart de rente d'invalidité, à partir du 1er août 2004. C. B._ interjette un recours de droit administratif contre ce jugement dont il demande, sous suite de frais et dépens, principalement la réforme, en concluant derechef à l'octroi d'une rente entière d'invalidité à partir du 1er août 2004; subsidiairement, il requiert l'annulation du jugement attaqué et le renvoi de la cause à l'OAI en vue de la mise en oeuvre d'une expertise médicale pluridisciplinaire. L'OAI conclut au rejet du recours. De son côté, l'OAI interjette également recours de droit administratif, en concluant à l'annulation du jugement attaqué. B._ a renoncé à se déterminer. L'Office fédéral des assurances sociales n'a pas déposé d'observations.