(Versicherungsprämienabzüge und Sozialabzüge), hat sich ergeben:
A.- X._ ist Mutter der 1971, 1973 und 1978 geborenen Kinder A._, B._ und C._. Sie ist geschieden. Die Kinder standen Ende 1996 noch in der Ausbildung.
Sie erhielten von ihren Vätern Unterhaltsbeiträge von monatlich Fr. 1'200.-- (A._ und B._) bzw. Fr.
1'350.-- (C._). Bei der Veranlagung von X._ für die direkte Bundessteuer 1997/98 gewährte die Veranlagungsbehörde den geltend gemachten Versicherungsabzug von Fr. 1'400.-- gemäss Art. 33 Abs. 1 lit. g des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642. 11, in der Fassung vom 4. März 1996). Ein Sozialabzug nach Art. 35 DBG (ebenfalls in der Fassung vom 4. März 1996) wurde, da nicht begehrt, nicht gewährt. Das steuerbare Einkommen wurde auf Fr. 113'700.-- festgesetzt und dem Tarif nach Art. 36 Abs. 1 DBG für Alleinstehende unterstellt.
B.- Im Einspracheverfahren beanspruchte die Pflichtige für ihre Kinder den Sozialabzug nach Art. 35 Abs. 1 lit. a DBG zu je Fr. 5'600.-- bzw. eventuell je Fr. 5'100.--, den erhöhten Versicherungsprämienabzug gemäss Art. 33 Abs. 1 lit. g DBG (Erhöhung um je Fr. 700.--, eventuell Fr. 600.-- pro Kind) sowie den Verheiratetentarif nach Art. 36 Abs. 2 DBG. Sie brachte vor, sie bestreite in erheblichem Umfang den Unterhalt ihrer Kinder, die sich alle noch in der Ausbildung befänden und für welche sie keine Unterhaltsbeiträge erhalte; im Übrigen käme sie ohnehin überwiegend für deren Unterhalt auf. Der Steuerkommissär wies die Einsprache am 14. Juni 2000 ab.
X._ erhob hiegegen Beschwerde bei der Bundessteuer-Rekurskommission des Kantons Zürich. Sie verlangte, das Einkommen sei um Fr. 17'100.-- auf Fr. 96'600.-- herabzusetzen. Mit Entscheid vom 9. August 2001 hiess die Bundessteuer-Rekurskommission die Beschwerde gut.
C.- Am 14. September 2001 hat das Kantonale Steueramt Zürich gegen diesen Entscheid Verwaltungsgerichtsbeschwerde beim Bundesgericht erhoben. Es stellt den Antrag, es seien der Beschwerdegegnerin für die drei mündigen Kinder A._, B._ und C._ die Kinderabzüge von je Fr. 5'100.-- und die zusätzlichen Versicherungsprämienabzüge von je Fr. 600.-- zu verweigern, sowie es sei die Beschwerdegegnerin für die direkte Bundessteuer 1997/98 mit einem steuerbaren Einkommen von Fr. 113'700.-- (zum Tarif gemäss Art. 36 Abs. 2 DBG) zu veranlagen, eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
D.- Die Beschwerdegegnerin, die Vorinstanz und die Eidgenössische Steuerverwaltung beantragen, die Beschwerde abzuweisen.

Das Bundesgericht zieht in Erwägung:
1.- a) Die Kantonale Verwaltung für die direkte Bundessteuer (Kantonales Steueramt Zürich) ist nach Art. 146 DBG zur Verwaltungsgerichtsbeschwerde legitimiert.
b) Mit der Verwaltungsgerichtsbeschwerde kann nach Art. 104 lit. a und b OG die Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens, und die unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhalts gerügt werden. Das Bundesgericht wendet das Bundesrecht bei der Verwaltungsgerichtsbeschwerde von Amtes wegen an, ohne an die Begründung der Parteibegehren gebunden zu sein (vgl. Art. 114 Abs. 1 OG). Es kann daher den Entscheid mit Erwägungen aufrecht erhalten, die von denen im angefochtenen Entscheid abweichen, oder eine Beschwerde aus anderen als den darin geltend gemachten Gründen gutheissen (<ref-ruling> E. 4a S. 117; <ref-ruling> E. 1b S. 382; <ref-ruling> E. 2c S. 275/276; <ref-ruling> E. 3 S. 388 f.). An die Sachverhaltsfeststellung ist das Bundesgericht gebunden, wenn - wie hier - eine richterliche Behörde als Vorinstanz entschieden und den Sachverhalt nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt hat (Art. 105 Abs. 2 OG).
2.- a) Die Vorinstanz hat die Beschwerdegegnerin wie folgt besteuert: Sie musste die für ihre schon volljährigen Kinder erhaltenen scheidungsrechtlichen Unterhaltsbeiträge nicht als ihr Einkommen versteuern (Art. 23 lit. f DBG a contrario und Art. 24 lit. e DBG); gemäss Art. 33 Abs. 1 lit. g DBG hatte sie Anspruch auf den um je Fr. 600.-- pro Kind erhöhten Abzug für Versicherungsbeiträge und Zinsen von Sparkapitalien; zudem wurde ihr nach Art. 35 Abs. 1 lit. a DBG der Sozialabzug von je Fr. 5'100.-- für die drei in der Berufsausbildung stehenden Kinder gewährt; schliesslich kam der Verheiratetentarif (Art. 36 Abs. 2 DBG) zur Anwendung.
Gleichzeitig konnten die Alimente zahlenden Väter ihre Unterhaltsbeiträge für ihre volljährigen Kinder nicht von ihrem steuerbaren Einkommen abziehen (Art. 33 Abs. 1 lit. c DBG a contrario), dafür aber den Unterstützungsabzug von je Fr. 5'100.-- (Art. 35 Abs. 1 lit. b DBG) geltend machen.
b) Das beschwerdeführende Kantonale Steueramt macht zur Hauptsache geltend, die kumulative Gewährung des Kinderabzugs nach Art. 35 Abs. 1 lit. a DBG an den unmittelbar für den Unterhalt sorgenden Elternteil und des Unterstützungsabzugs nach Art. 35 Abs. 1 lit. b DBG an den Alimente zahlenden Elternteil widerspreche dem Wortlaut von Art. 35 Abs. 1 lit. b zweiter Halbsatz DBG, wonach der Unterstützungsabzug nach lit. b nicht beansprucht werden kann für den Ehegatten und für Kinder, für die ein Abzug nach lit. a gewährt wird.
Dieser Auffassung kann nicht gefolgt werden.
Art. 35 Abs. 1 lit. a DBG sieht einen Abzug vor für jedes minderjährige oder in der Ausbildung stehende Kind, für dessen Unterhalt der Steuerpflichtige sorgt. Lit. b dieser Bestimmung gewährt einen Abzug für jede erwerbsunfähige oder beschränkt erwerbsfähige Person, an deren Unterhalt der Steuerpflichtige mindestens in der Höhe des Abzuges beiträgt. Der Wortlaut des 2. Halbsatzes von lit. b von Art. 35 Abs. 1 DBG schliesst nicht aus, dass das Kumulationsverbot nur auf eine steuerpflichtige Person allein bezogen wird. Eine solche Auslegung drängt sich auf, soll doch die Besteuerung grundsätzlich nicht von der steuerlichen Behandlung einer Drittperson abhängen. Nach der gesetzlichen Regelung in lit. b ist der Unterstützungsabzug gegenüber dem Kinderabzug subsidiär (und nicht umgekehrt).
Die fragliche Bestimmung schliesst somit bei richtigem Verständnis lediglich aus, dass einem Elternteil, der bereits den Kinderabzug nach Art. 35 Abs. 1 lit. a DBG geltend macht, zusätzlich noch der Unterstützungsabzug nach lit. b gewährt wird. Dagegen kann daraus - entgegen der Auffassung des beschwerdeführenden Kantonalen Steueramts - nicht abgeleitet werden, einem steuerpflichtigen Elternteil sei der Kinderabzug nach Art. 35 Abs. 1 lit. a DBG zu verweigern, wenn dem anderen, Alimente zahlenden Elternteil der Unterstützungsabzug nach Art. 35 Abs. 1 lit. b DBG gewährt wird. Vorliegend sorgt die Beschwerdegegnerin für den Unterhalt ihrer drei in der Ausbildung stehenden Kinder durch deren unmittelbare Betreuung im gemeinsamen Haushalt (vgl.
Art. 163 und Art. 276 Abs. 2 ZGB); deshalb ist ihr der Kinderabzug nach Art. 35 Abs. 1 lit. a DBG zuzugestehen (vgl.
Agner/Digeronimo/Neuhaus/Steinmann, Kommentar zum Bundesgesetz über die direkte Bundessteuer, Ergänzungsband 2000, N 9a zu Art. 33 DBG).
Daraus ergibt sich, dass der Beschwerdegegnerin auch der erhöhte Abzug für Versicherungsprämien und Sparzinsen nach Art. 33 Abs. 1 lit. g Abs. 2 DBG zu bewilligen ist, da dieser Abzug u.a. an die Gewährung des Kinderabzugs nach Art. 35 Abs. 1 lit. a DBG anknüpft.
Ebenfalls zu Recht hat die Vorinstanz auf die Beschwerdegegnerin den tieferen Verheiratetentarif nach Art. 36 Abs. 2 DBG zur Anwendung gebracht, kann doch davon ausgegangen werden, dass die Beschwerdegegnerin als der die Kinder beherbergende und unmittelbar betreuende Elternteil im Sinne der gesetzlichen Umschreibung "zur Hauptsache" für deren Unterhalt aufkommt.
c) Entgegen der Auffassung des beschwerdeführenden Kantonalen Steueramts lässt sich hiegegen nicht vorbringen, die kumulative Gewährung des Kinder- und Unterstützungsabzuges widerspreche Sinn und Zweck des Gesetzes, dem Gleichbehandlungsgrundsatz sowie dem verfassungsmässigen Grundsatz der Besteuerung nach der wirtschaftlichen Leistungsfähigkeit.
Zunächst kann hiezu aus den Kreisschreiben und Weisungen der Eidgenössischen Steuerverwaltung zur Periode 1989/90 nichts abgeleitet werden (vgl. dazu Beschwerde S. 3), ebenso wenig aus der Praxis zu den kantonal-zürcherischen Steuern (vgl. Beschwerde S. 5). Dass die Unterhaltsbeiträge mit Eintritt der Mündigkeit direkt dem mündigen Kind zukommen und fortan weder von der Mutter (vgl. Art. 23 lit. f DBG) noch vom Kind selber zu versteuern sind (vgl. Art. 24 lit. e DBG, vgl. Beschwerde S. 5), ist eine Grundsatzentscheidung des Gesetzgebers, an die sich die Steuerbehörden zu halten haben.
Der Umstand, dass sich die steuerliche Belastung der Beschwerdegegnerin dadurch gegenüber der früheren Besteuerung erheblich verringert hat, da sie die für die Kinder erhaltenen Unterhaltsbeiträge nun nach Art. 23 lit. f DBG nicht mehr versteuern muss, erlaubt es - entgegen den Vorbringen in der Beschwerde (S. 6) - nicht, ihr den gesetzlich vorgesehenen Kinderabzug nach Art. 35 Abs. 1 lit. a DBG zu verweigern. Dieser Abzug ist ein Sozialabzug, der nicht an die Steuerpflicht für die erhaltenen Unterhaltsbeiträge anknüpft, sondern an die eigenen, zum Teil in natura erbrachten Unterhaltsleistungen der Beschwerdegegnerin, deren wirtschaftliche Leistungsfähigkeit durch die Kinderbetreuung reduziert wird.
d) Es ist nicht zu entscheiden, ob bei diesem Ergebnis die vom Kantonalen Steueramt behauptete, ungerechtfertigte Privilegierung von Halbfamilien mit mündigen Kindern in Ausbildung gegenüber Halbfamilien mit unmündigen Kindern besteht. Die vom Bundesgesetzgeber gewählte Lösung ist für das Bundesgericht verbindlich (Art. 191 BV).
Ob einem Elternteil, der mündigen Kindern Alimente zahlt, der Kinderabzug nach Art. 35 Abs. 1 lit. a DBG oder der Unterstützungsabzug nach Art. 35 Abs. 1 lit. b DBG zu gewähren ist (vgl. Beschwerde S. 7 ff.), ist hier nicht abschliessend zu prüfen: In der zur Diskussion stehenden Steuerperiode sind diese Abzüge gleich hoch. Zudem geht es im vorliegenden Verfahren nicht um die Veranlagung der Alimente zahlenden Väter. Immerhin lässt sich sagen, dass die - von der Eidgenössischen Steuerverwaltung vorgeschlagene - Gewährung des Unterstützungsabzugs an den Alimente zahlenden Elternteil, der die Unterhaltsbeiträge nach Art. 33 Abs. 1 lit. c DBG zufolge Eintritts der Volljährigkeit des Kindes nicht mehr abziehen kann, mit dem Wortlaut von Art. 35 Abs. 1 lit. b DBG vereinbar ist, kann doch ohne Weiteres angenommen werden, dass ein Kind in der Ausbildung zufolge der damit verbundenen zeitlichen Belastung nicht oder bloss beschränkt erwerbsfähig ist.
3.- Die Beschwerde des Kantonalen Steueramtes erweist sich daher als unbegründet. Bei diesem Ausgang wird der Kanton Zürich kostenpflichtig (Art. 156 Abs. 1 und 2 OG) und hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren zu entschädigen (Art. 159 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Kantonalen Steueramt Zürich auferlegt.
3.- Der Kanton Zürich hat der Beschwerdegegnerin für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 1'500.-- zu bezahlen.
4.- Dieses Urteil wird den Parteien, der Bundessteuer-Rekurskommission des Kantons Zürich sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
_
Lausanne, 23. Januar 2002
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: