A.- S._, né le 21 juillet 1935, a bénéficié d'une retraite anticipée de la prévoyance professionnelle à partir du 1er août 1997 (pension de retraite et rente-pont AVS). Par lettre du 20 mars 1997, la Caisse de pensions du canton du Jura l'a informé que la rente pont AVS serait versée jusqu'au 31 juillet 1999 et qu'il pouvait demander à percevoir une rente de vieillesse anticipée dès le 1er août 1999.
Le 27 août 1999, S._ a déposé une demande de rente de vieillesse (avec versement anticipé) auprès de la Caisse de compensation du canton du Jura (ci-après : la caisse).
Par décision du 15 septembre 1999, la caisse l'a informé de son refus de lui octroyer une rente AVS anticipée, au motif que la demande était tardive.
B.- Saisi d'un recours contre cette décision, le Tribunal cantonal de la République et canton du Jura, Chambre des assurances, par jugement du 12 juillet 2000, l'a admis, au regard du principe de la bonne foi, et a alloué au recourant une rente AVS anticipée du 1er août 1999 au 31 juillet 2000.
C.- L'Office fédéral des assurances sociales interjette un recours de droit administratif contre ce jugement dont il demande l'annulation.
S._ conclut au rejet du recours en se prévalant de sa bonne foi.
La caisse ne s'est pas déterminée.

Considérant en droit :
1.- a) Introduit par la 10 ème révision de la LAVS, l'art. 40 AVS prévoit, à son premier alinéa, que les hommes et les femmes qui remplissent les conditions d'octroi d'une rente ordinaire de vieillesse peuvent obtenir son versement anticipé d'un ou deux ans. Dans ces cas, le droit à la rente prend naissance, pour les hommes, le premier jour du mois suivant 64 ou 63 ans révolus, pour les femmes le premier jour du mois suivant 63 ou 62 ans révolus.
L'<ref-law> précise les conditions d'exercice de ce droit. L'alinéa 1 dispose, notamment, que l'ayant droit doit remettre une formule de demande dûment remplie à la caisse de compensation compétente. Selon l'alinéa 1bis, introduit par l'ordonnance du Conseil fédéral du 29 novembre 1995, seul l'ayant droit ou son représentant légal peut faire valoir le droit à la rente anticipée ordinaire de vieillesse. Ce droit ne peut être requis rétroactivement.
b) L'instauration de la rente anticipée constitue l'un des quatre piliers de la 10 ème révision de la LAVS (FF 1990 II p. 5 sv, 46 sv). Selon le rapport de mars 1988 du Conseil fédéral sur l'âge flexible de la retraite, la retraite anticipée désigne la possibilité de décaler, par rapport à l'âge légal, le moment de l'ouverture du droit à la rente. La somme des prestations dues à l'âge normal de la retraite est répartie, en cas d'anticipation, sur une période plus longue (p. 28 sv, ch. 61). L'assuré a le choix entre une rente non réduite qu'il touchera à l'âge de la retraite et le versement anticipé d'une rente réduite. Si l'on se fonde sur une espérance de vie moyenne, les coûts de ces deux possibilités devraient être égaux dans chaque hypothèse (ibidem. p. 15, ch. 41).
2.- a) En l'espèce, il est constant que l'intimé a atteint l'âge de 64 ans le 21 juillet 1999. Il pouvait dès lors prétendre au versement d'une rente de vieillesse anticipée, dès le 1er août 1999. Sa demande de rente anticipée de vieillesse n'a été déposée que le 27 août 1999, soit presque un mois après la date à partir de laquelle courait son droit à cette prestation. Ce droit a dès lors été requis de manière rétroactive au sens de l'<ref-law>.
b) Le RAVS est un règlement fondé sur l'<ref-law>, qui charge le Conseil fédéral d'édicter des dispositions aux fins d'exécution de la loi. Un tel règlement a pour fonction de concrétiser les dispositions légales et, le cas échéant, de combler des lacunes d'importance secondaire, dans la mesure où l'exécution de la loi l'exige; les normes d'exécution doivent cependant s'en tenir au cadre légal et ne peuvent en particulier contenir des règles nouvelles qui limiteraient les droits des administrés ou leur imposeraient de nouveaux devoirs, même si ces règles sont compatibles avec le but de la loi (<ref-ruling> sv. consid. 4b et les références).
L'art. 67 al. 1bis, qui précise les modalités d'exercice du droit à une rente anticipée de vieillesse, se situe dans le cadre d'une norme d'exécution au sens précité. Il vise à empêcher une demande rétroactive de versement anticipé d'une rente de vieillesse. Dans cette mesure, on ne voit pas, et les premiers juges ne le prétendent d'ailleurs pas, que cette disposition sorte manifestement du cadre de la délégation de compétence donnée au Conseil fédéral.
D'une part, il y aurait contradiction fondamentale à permettre un effet rétroactif à une demande tardive de versement anticipé et d'autre part il s'agit aussi de prévenir d'éventuels abus comme une demande de versement anticipé d'une rente émanant d'héritiers d'un assuré décédé entretemps (cf. VSI 1996 p. 43).
c) Il en découle que, déposée par l'intimé environ un mois après l'accomplissement de sa 64 ème année, sa demande de rente anticipée de vieillesse était tardive au sens de l'<ref-law>, conjointement avec l'<ref-law>.
3.- a) L'office recourant fait valoir que, contrairement à ce qu'ont retenu les premiers juges, les conditions d'application du principe de la bonne foi n'étaient pas réunies, de sorte que le droit de l'intimé à une rente anticipée de vieillesse devait être nié.
b) Les principes que la jurisprudence déduisait de l'art. 4 al. 1 aCst. , en ce qui concerne le droit à la protection de la bonne foi, valent également sous le régime de l'art. 9 Cst. (<ref-ruling> consid. 3a). C'est ainsi qu'un renseignement ou une décision erronés peuvent obliger l'administration à consentir à un administré un avantage contraire à la loi, si certaines conditions - cumulatives - sont réunies. En particulier, il est nécessaire que l'administré se soit fondé sur le renseignement (inexact) obtenu pour prendre des dispositions qu'il ne saurait modifier sans subir de préjudice (cf. <ref-ruling> consid. 2a et les références). En l'espèce toutefois, l'intimé ne prétend pas avoir été amené à prendre des dispositions préjudiciables sur lesquelles il ne peut pas revenir et rien au dossier ne permet d'admettre que tel a été le cas. A cet égard, ainsi qu'il résulte du consid. 1b ci-dessus, les conséquences financières respectives d'un choix entre une rente anticipée réduite et une rente non réduite à l'âge normal sont équivalentes. L'intimé ne saurait donc bénéficier de la garantie constitutionnelle du droit à la protection de la bonne foi (cf. DTA 1999 no 40 p. 237 consid. 3; voir aussi RSAS 1999 p. 387 consid. 4b).
Cette condition de l'application du principe de la bonne foi n'étant pas remplie, il n'est pas nécessaire d'examiner, en particulier, si le renseignement prétendument erroné donné à l'intimé par la Caisse de pensions dans sa lettre du 20 mars 1997 pouvait être imputé à l'autorité compétente pour octroyer des rentes de vieillesse, soit la Caisse de compensation du Jura (cf. SVR 2001 KV no 3 p. 6 consid. 3e).
4.- En conclusion, la caisse était en droit de nier le droit de l'intimé à une rente anticipée de vieillesse pour la période du 1er août 1999 au 31 juillet 2000.

Par ces motifs, le Tribunal fédéral des assurances,
prononce :
I. Le recours est admis et le jugement du 12 juillet 2000
du Tribunal cantonal de la République et canton du
Jura, Chambre des assurances, est annulé.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal de la République et canton du Jura, Chambre des assurances, et à la Caisse de compensation
du canton du Jura.
Lucerne, le 30 avril 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
La Greffière :