A.- C._ a travaillé pour l'entreprise X._ SA en qualité de maçonrhabilleur jusqu'à son licenciement pour raisons économiques en 1998. Par la suite, il a exercé un emploi temporaire en tant qu'aide-cantonnier.
Le 1er février 2000, le prénommé a déposé une demande tendant à l'octroi d'une mesure de réadaptation et d'une rente d'invalidité. Selon le docteur B._, spécialiste en médecine interne et pour les maladies rhumatismales, il souffre de diverses affections, notamment d'un syndrome douloureux somatoforme persistant sous forme de lombalgies chroniques sur troubles statiques et dégénératifs du rachis, d'hypertension artérielle et présente un status après état dépressif réactionnel au licenciement en 1998 (rapport du 6 mars 2000).
Après avoir confié une expertise au docteur A._, spécialiste en médecine interne et rhumatologie (rapport du 17 août 2000), l'Office de l'assurance-invalidité du canton de Neuchâtel (ci-après : l'office) a rendu une décision, le 27 novembre 2000, par laquelle il a rejeté la demande, motif pris que l'assuré ne présentait pas d'invalidité économique significative.
B.- Saisi d'un recours contre cette décision, le Tribunal administratif du canton de Neuchâtel l'a rejeté par jugement du 25 septembre 2001.
C.- C._ interjette recours de droit administratif contre ce jugement, dont il demande l'annulation, en concluant, sous suite de dépens, principalement à l'octroi d'une rente entière d'invalidité et subsidiairement au renvoi de la cause à l'office pour nouvelle décision, après complément d'instruction sous la forme d'une expertise psychiatrique et somatique.
L'office intimé conclut au rejet du recours.
L'Office fédéral des assurances sociales a renoncé à présenter des déterminations.

Considérant en droit :
1.- Le jugement entrepris expose de manière exacte les dispositions légales concernant la notion d'invalidité (<ref-law>), le droit à une rente (<ref-law>), et l'évaluation de l'invalidité (<ref-law>), ainsi que les principes jurisprudentiels sur la valeur probante d'un rapport médical (<ref-ruling> consid. 3 et les arrêts cités). Il suffit donc d'y renvoyer.
2.- a) Le recourant soutient qu'en refusant de confier une expertise à un spécialiste en cardiologie et une autre à un psychiatre, la juridiction cantonale a violé son droit d'être entendu. Il estime en effet que le rapport du docteur A._, dans les constatations sur sa santé psychique et sur les troubles cardiaques dont il est atteint, ne remplit pas les exigences dégagées par la jurisprudence relatives à la valeur probante d'une expertise médicale, de sorte que les premiers juges ne pouvaient, sans autre examen, fonder leur appréciation sur les conclusions de ce médecin.
b) Le droit d'être entendu - qui comprend notamment le droit pour le justiciable de fournir des preuves quant aux faits de nature à influer sur le sort de la décision (<ref-ruling> consid. 3a, 242 consid. 2, 124 II 137 consid. 2b, 124 V 181 consid. 1a, 375 consid. 3b et les références) - est une garantie constitutionnelle de caractère formel (art. 29 al. 2 Cst.), dont la violation doit entraîner l'annulation de la décision attaquée, indépendamment des chances de succès du recourant sur le fond (<ref-ruling> consid. 2b et les arrêts cités).
Toutefois, si l'administration ou le juge, se fondant sur une appréciation consciencieuse des preuves fournies par les investigations auxquelles ils doivent procéder d'office, sont convaincus que certains faits présentent un degré de vraisemblance prépondérante et que d'autres mesures probatoires ne pourraient plus modifier cette appréciation, il est superflu d'administrer d'autres preuves (appréciation anticipée des preuves; Kieser, Das Verwaltungsverfahren in der Sozialversicherung, p. 212, n° 450; Kölz/Häner, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, 2e éd., p. 39, n° 111 et p. 117, n° 320; Gygi, Bundesverwaltungsrechtspflege, 2e éd., p. 274; cf.
aussi <ref-ruling> consid. 4a, 122 III 223 consid. 3c, 120 Ib 229 consid. 2b, 119 V 344 consid. 3c et la référence).
Une telle manière de procéder ne viole pas le droit d'être entendu selon l'art. 29 al. 2 Cst. (SVR 2001 IV n° 10 p. 28 consid. 4b), la jurisprudence rendue sous l'empire de l'art. 4 aCst. étant toujours valable (<ref-ruling> consid. 4b, 122 V 162 consid. 1d et l'arrêt cité).
3.- En l'espèce, on constate qu'en renonçant à compléter l'instruction par la mise en oeuvre d'une expertise médicale, les premiers juges n'ont pas violé le droit d'être entendu du recourant, dès lors que le rapport du docteur A._ était propre à emporter leur conviction et, partant, à rendre superflue l'administration d'autres preuves. En effet, le rapport du 21 août 2000 expose de manière circonstanciée les données anamnestiques, décrit le contexte médical avec précision et les conclusions sont motivées de manière convaincante, tant sur le plan somatique que sur le plan psychiatrique.
a) En particulier, en ce qui concerne les troubles cardiaques évoqués par le recourant, le docteur A._ a pris connaissance des conclusions du docteur B._, qui avait constaté la présence d'"un souffle systolique d'intensité 2/6 à l'apex" (rapport du 16 décembre 1999) et de celles des médecins du Service de rhumatologie et de médecine physique de l'Hôpital Y._ (rapport du 27 janvier 2000 des docteurs D._, E._ et F._), selon lesquelles le recourant souffrait d'une hypertension artérielle qu'ils ont prise en charge. Il a d'ailleurs expressément fait mention de ce diagnostic en indiquant que l'hypertension artérielle de l'assuré était compensée. A l'instar de ses confrères, l'expert n'a pas constaté l'existence d'une affection cardiaque, de sorte que des investigations supplémentaires n'apparaissent pas nécessaires.
De même, le rapport du docteur A._ apparaît suffisamment circonstancié quant à l'évaluation des autres troubles physiques du recourant. Le praticien atteste ainsi de manière concluante, à la suite d'un examen détaillé du patient et après avoir posé le diagnostic de lombalgies chroniques sur troubles statiques et dégénératifs du rachis dorso-lombaire, que cette atteinte l'empêche d'exercer son activité professionnelle antérieure de maçon. Il ajoute que C._ présente en revanche une capacité de travail entière dans une activité de type léger et épargnant son dos, sans restrictions particulières hormis le port de charges. Contrairement à ce qu'allègue le recourant, ces conclusions ne s'écartent nullement de l'avis des autres médecins qui l'ont examiné. Tandis que les médecins de l'Hôpital Y._ ont retenu un diagnostic identique sans se prononcer sur la capacité de travail de l'assuré, le docteur B._ a mentionné qu'une activité lourde telle que cantonnier ou maçon était contre-indiquée et qu'il conviendrait de s'orienter vers un travail ne nécessitant pas le port de charges lourdes ou le port répétitif de charges et permettant l'alternance des positions.
Dès lors, il n'y a pas lieu de s'écarter de l'appréciation du docteur A._ sur l'état de santé physique du recourant et sa capacité de travail dans une activité adaptée; le recourant ne fait du reste valoir aucun élément qui permettrait d'en douter. Au demeurant, le droit pour le justiciable de fournir des preuves quant aux faits de nature à influer sur le sort de la décision ne comprend bien évidemment pas le droit d'obtenir la mise en oeuvre d'une expertise judiciaire favorable à son point de vue.
b) Quant à la santé psychique du recourant, le docteur A._ a également effectué une évaluation détaillée de la situation. Contrairement à ce qu'allègue l'assuré, le rapport de l'expert ne contient pas de contradiction. En effet, si le médecin retient que C._ a subi une dépression réactionnelle importante en 1998 à la suite d'un licenciement professionnel et d'un deuil, il est d'avis qu'il n'est pas possible de retenir, au moment de l'expertise, le 17 août 2000, un élément psychopathologique ayant valeur de maladie. Le praticien a également tenu compte du diagnostic posé par le docteur B._ qui évoquait, dans son rapport du 6 mars 2000, un status après état dépressif réactionnel au licenciement en 1998, mais a constaté que le recourant n'était plus déprimé.
Par ailleurs, comme l'a relevé l'instance cantonale de recours, le recourant ne produit aucune attestation ou rapport médical d'un psychiatre - en particulier du psychiatre et psychothérapeute qu'il a consulté en décembre 2000 - susceptible de remettre en cause les conclusions de l'expert.
c) Au vu de ce qui précède, il apparaît que la valeur probante du rapport médical du docteur A._ ne peut être mise en doute. On ne saurait dès lors faire grief aux premiers juges d'avoir fondé leur conviction sur ce moyen de preuve et renoncé à requérir une expertise supplémentaire.
Par conséquent, il y a lieu d'admettre que le recourant serait capable d'obtenir, dans une activité adaptée, soit de type léger et ménageant son dos, un revenu excluant le droit à un rente, même en prenant en considération une éventuelle réduction du salaire d'invalide en raison de certains empêchements propres à sa personne, comme les limitations liées à l'handicap, l'âge, les années de service ou la nationalité (<ref-ruling> consid. 5b/aa).
Le jugement entrepris n'étant ainsi pas critiquable, le recours est infondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 4 avril 2002
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
La Greffière :