A.- S._ a travaillé dès 1980 en qualité de maçon. En 1995, puis dès le début de l'année 1998, il a connu à plusieurs reprises de courtes périodes d'arrêt de travail dues à des épisodes de lombalgies. Une hospitalisa- tion intervenue en août 1998 a permis de déceler l'existence d'une hernie discale L4/L5. Le docteur X._, médecin traitant de S._, a attesté une incapacité de travail totale dès le 24 août 1998, pour une durée indéterminée.
Le 15 septembre 1998, le prénommé a déposé une demande de prestations de l'assurance-invalidité tendant à son reclassement dans une nouvelle profession.
L'Office AI du canton de Neuchâtel (ci-après :
l'office) a confié une expertise au docteur L._, médecin-chef au Service de rhumatologie et de médecine physique de l'Hôpital de Z._. Dans un rapport du 1er avril 1999, ce médecin a posé le diagnostic de lombosciatalgies droites dans le cadre d'une hernie discale, d'une obésité modérée et d'un état dépressif léger. Il a considéré que la capacité de travail de l'assuré comme maçon était de 50 % au plus, mais qu'elle était en revanche entière "dans toute profession sans port de charges dépassant 10 à 15 kg ou positions statiques prolongées".
Par décision du 31 août 1999, l'office a rejeté la demande de prestations dont il était saisi, d'une part au motif que des mesures d'ordre professionnel n'entraient pas en ligne de compte car l'assuré se considérait comme inapte au travail et, d'autre part, parce que l'atteinte à la santé n'entraînait pas une perte de gain suffisante pour ouvrir droit à une rente d'invalidité.
B.- S._ a recouru contre cette décision. A titre principal, il a conclu à l'allocation d'une rente entière d'invalidité et, subsidiairement, à l'octroi d'une demi-rente d'invalidité complétée par "des mesures de réadaptation à définir".
Par jugement du 9 février 2000, le Tribunal administratif de la République et canton de Neuchâtel a admis le recours et renvoyé la cause à l'office pour instruction complémentaire et nouvelle décision. En bref, la Cour cantonale a considéré que l'office n'avait pas examiné avec suffisamment de soin quelles étaient les activités encore à la portée de l'assuré en dépit de son handicap ni déterminé le revenu qu'il pourrait en tirer.
C.- L'office interjette recours de droit administratif contre ce jugement dont il requiert l'annulation, en concluant à la confirmation de sa décision du 31 août 1999.
Pour l'essentiel, il expose qu'il s'est conformé à la jurisprudence du Tribunal fédéral des assurances en retenant que l'assuré pouvait encore réaliser un revenu d'invalide de 4294 fr., montant qui correspond, selon les statistiques, au salaire moyen de l'année 1996 des hommes effectuant des activités simples et répétitives dans le secteur privé. L'office ajoute que, dans la mesure où l'assuré "est à même de travailler sans limitation dans une activité sans port de charges dépassant 15 kg et excluant les positions statiques prolongées (...), il existe une grande constellation d'emplois de ce genre, au point qu'il n'incombe pas à l'assurance-invalidité mais bien aux organes de l'assurance-chômage de procurer pareils emplois".

Au terme d'une prise de position circonstanciée, le Tribunal administratif considère qu'une précision de jurisprudence est nécessaire sur la manière d'utiliser les données statistiques quand elles servent à déterminer le revenu d'invalide d'une personne assurée. Selon la Cour cantonale, ce n'est en effet pas le salaire statistique moyen du secteur privé, toutes branches économiques confondues, qui doit être pris en considération comme salaire d'invalide, mais plutôt le salaire statistique moyen du domaine d'activité pour lequel l'assuré présente encore, après examen de ses aptitudes concrètes, une capacité de travail résiduelle.
S._ conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales en propose l'admission.
Considérant en droit :
1.- L'objet de la contestation porte sur le droit de l'intimé à des prestations de l'assurance-invalidité, singulièrement une rente.
2.- Selon l'<ref-law>, la réadaptation a la priorité sur la rente dont l'octroi n'entre en ligne de compte que si une réadaptation suffisante est impossible.
Saisie d'une demande de rente ou appelée à se prononcer à l'occasion d'une révision de celle-ci, l'administration doit donc élucider d'office, avant toute chose, la question de la réintégration de l'assuré dans le circuit économique (<ref-ruling> s., 99 V 48).
En l'espèce, l'office recourant a renoncé à mettre en oeuvre des mesures d'ordre professionnel, en particulier une aide au placement, au motif qu'une telle mesure apparaissait d'emblée inutile, vu la nature et l'importance des plaintes émises par l'assuré et ses connaissances rudimentaires du français. On ne voit pas de motif de s'écarter de ce point de vue, qui n'a du reste à aucun moment été sérieusement démenti par l'intimé. A cela s'ajoute que la capacité de travail de celui-ci est entière dans une activité adaptée, d'après les conclusions convaincantes du docteur L._, dont le rapport d'expertise, fondé sur deux consultations médicales et des examens complets, a pleine valeur probante pour trancher le litige (cf. <ref-ruling> consid. 3b/cc et les références). Or, une telle capacité de travail résiduelle laisse supposer, en l'absence d'indices contraires, que l'assuré est à même de trouver par ses propres moyens - ou le cas échéant avec l'aide des organes de l'assurance-chômage - un emploi adapté à son état de santé (VSI 2000 consid. 2 p. 70 sv.).
Il ne reste par conséquent à examiner que l'éventualité du droit de l'intimé à une rente d'invalidité.
3.- Le jugement entrepris expose correctement les dispositions légales qui fixent les conditions et l'étendue du droit à la rente (art. 28 al. 1 et 2 en relation avec l'<ref-law>), de sorte qu'il suffit d'y renvoyer.
a) Les premiers juges ont retenu que, sans invalidité, l'assuré aurait été en mesure de gagner un revenu de 4217 fr. par mois en 1999 (ce qui donne, sur 13 mois, un revenu sans invalidité de 54 821 fr. par année). Ce chiffre n'est pas critiquable. Il correspond en effet au salaire mensuel effectivement réalisé en 1998 par l'intimé juste avant le début de son incapacité de travail, majoré de 30 fr. pour tenir compte d'une augmentation accordée en 1999 par convention collective aux "ouvriers B" du secteur de la construction (c'est-à-dire aux ouvriers qui, à l'instar de l'intimé, ne disposent d'aucun certificat de capacité reconnu, mais sont en revanche au bénéfice de connaissances professionnelles).
b) aa) Quant au revenu d'invalide, les premiers juges ont considéré que le montant retenu à ce titre par l'office recourant, soit le salaire mensuel brut (valeur centrale) que pouvaient prétendre en 1996, selon les données statistiques, les hommes effectuant des activités simples et répétitives dans le secteur privé, à savoir 4294 fr. par mois (Enquête suisse sur la structure des salaires, 1996, tabelle 1), ne prend pas suffisamment en compte la situation effective de l'intimé. A cet égard, ils relèvent que les importants écarts de salaire entre les différentes branches économiques qui servent de référence pour calculer le salaire brut précité "justifient pour le moins que l'administration détermine avec soin les possibilités de travail concrètes qui entrent en considération pour chaque assuré".
bb) Il est exact que le recours à des données statistiques pour établir le revenu d'invalide d'un assuré ne dispense pas les organes de l'AI de procéder à un examen concret des activités adaptées qui demeurent à la portée de celui-ci. L'administration doit au contraire s'efforcer de tenir compte des difficultés objectives que peut présenter la réadaptation professionnelle de l'assuré selon les circonstances. A cet égard, elle faillirait à sa tâche si elle déterminait le revenu raisonnablement exigible en se fondant sur des possibilités d'emploi irréalistes, ou en se bornant à prendre en considération un genre d'activité quasiment inconnue du marché du travail (Plädoyer 1998/2 p. 63, consid. 1 let. d et e). Par ailleurs, l'administration doit également tenir compte du fait que la rémunération dont l'assuré pourrait bénéficier dans les activités lucratives pouvant encore être exigées de lui sera, en principe, inférieure aux salaires qui sont usuellement servis dans les secteurs économiques où il pourrait être occupé. Aussi bien pourrait-il se justifier, si le revenu d'invalide devait être déterminé uniquement sur la base de données statistiques, de s'écarter du salaire brut standard pour la catégorie d'emplois en cause (<ref-ruling> consid. 3b/bb; Plädoyer eod. loc.).
Dans un arrêt récent, la Cour de céans a rappelé que les abattements destinés à prendre en considération les empêchements propres à la personne de l'invalide ne doivent pas être effectués de manière schématique, mais tenir compte de l'ensemble des circonstances du cas particulier, et cela dans le but de déterminer, à partir des données statistiques, un revenu d'invalide qui représente au mieux la mise en valeur économique exigible des activités compatibles avec la capacité de travail résiduelle de l'intéressé.
Une déduction ne doit par ailleurs pas être opérée automatiquement, mais seulement lorsqu'il existe des indices qu'en raison d'un ou de plusieurs facteurs, l'assuré ne peut mettre en valeur sa capacité résiduelle de travail sur le marché du travail qu'avec un résultat économique inférieur à la moyenne. En outre, il n'y a pas lieu de procéder à des déductions distinctes pour chacun des facteurs entrant en considération comme les limitations liées au handicap, l'âge, les années de service, la nationalité ou la catégorie de permis de séjour, ou encore le taux d'occupation. Il faut bien plutôt procéder à une évaluation globale, dans les limites du pouvoir d'appréciation, des effets de ces facteurs sur le revenu d'invalide, compte tenu de l'ensemble des circonstances du cas concret. Enfin, on ne peut procéder à une déduction globale supérieure à 25 %.
L'administration doit motiver brièvement la déduction opérée. Quant au juge, il ne peut, sans motif pertinent, substituer son appréciation à celle de l'administration (<ref-ruling> ss consid. 5).
cc) En l'espèce, l'office recourant a déterminé le revenu d'invalide en reprenant tel quel, sans procéder à aucune réduction, le salaire brut (valeur centrale) que réalisaient les hommes effectuant des activités simples et répétitives dans le secteur privé en 1996 (soit 4294 fr.).
Eu égard aux circonstances de l'espèce, singulièrement les atteintes à la santé dont souffre l'intimé qui ne peut plus effectuer de travaux lourds et qui doit éviter les positions statiques prolongées, l'office aurait dû s'écarter de ce salaire statistique pour déterminer le revenu d'invalide de l'intimé. Cette erreur ne prête toutefois pas à conséquence.
En effet, indépendamment de l'augmentation des salaires nominaux intervenue entre 1996 et 1999 (cf. Annuaire statistique de la Suisse 1999 p. 123 et 2000 p. 122), un salaire mensuel hypothétique de 4294 fr. comme l'a retenu l'office représente, compte tenu du fait que les salaires bruts standardisés se basent sur un horaire de travail de 40 heures, soit une durée hebdomadaire inférieure à la moyenne usuelle dans les entreprises (41, 9 heures en 1997; La Vie économique 2000/2, annexe p. 27, Tabelle B9.2), un revenu d'invalide de 53 976 fr. par année (4294 fr. x 12 x41, 9 : 40). Or, même si l'on procède à un abattement de 25 % (soit le maximum admis par la jurisprudence), il en résulte encore un revenu d'invalide de 40 482 fr.
(53 976 fr. x 75 %) dont la comparaison avec un revenu réalisable sans invalidité de 54 821 fr. (cf. supra consid. 3a) conduit à un degré d'invalidité de 26 %, ce qui est insuffisant pour ouvrir droit à une rente (<ref-law>).
Que le revenu d'invalide ainsi déterminé repose sur le salaire mensuel brut (valeur centrale) pour des activités simples et répétitives du secteur privé, toutes branches économiques confondues, ne permet pas de conclure, contrairement à l'opinion des premiers juges, que la situation effective de l'intimé n'a pas été convenablement élucidée.
Certes aurait-il été préférable, afin de coller au plus près de la réalité, de déterminer d'abord avec précision quelles activités l'intimé était encore en mesure d'exercer malgré son handicap (en les spécifiant clairement), puis d'évaluer le revenu d'invalide sur la base du salaire statistique servi dans la ou les branches économiques correspondantes. Toutefois, dans la mesure où le montant de 4294 fr. retenu comme revenu d'invalide représente le salaire mensuel brut (valeur centrale) pour des postes de travail qui ne requièrent pas de qualifications professionnelles particulières, force est d'admettre que la plupart de ces emplois sont, abstraction faite des limitations physiques éprouvées par l'intimé, conformes aux aptitudes de celui-ci. Par ailleurs, au regard du large éventail d'activités simples et répétitives que recouvrent les secteurs de la production et des services, on doit également convenir qu'un nombre significatif de ces activités sont légères et permettent l'alternance des positions et sont donc adaptées au handicap de l'intimé. Le salaire statistique qui a été pris en considération, après déduction de 25 %, est donc représentatif de ce que pourrait gagner l'intimé en mettant à profit sa pleine capacité de travail dans une activité adaptée.
Au demeurant, à l'exception de l'hôtellerie et de la restauration, dans toutes les autres branches des secteurs de la production et des services, les activités simples et répétitives permettaient d'obtenir en 1996, selon les statistiques (pour 1998, les chiffres ne sont pas encore disponibles), un salaire mensuel brut (valeur centrale) d'un montant qui, même après un abattement de 25 %, était encore trop élevé pour justifier l'octroi d'une rente d'invalidité à l'intimé.
c) Il suit de ce qui précède que l'intimé ne peut prétendre, vu sa capacité de gain résiduelle, une rente d'invalidité. Le recours est bien fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis et le jugement du 9 février 2000
du Tribunal administratif de la République et canton
de Neuchâtel est annulé.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal administratif de la République et canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 23 octobre 2000
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :