Art. 9 BV (Nachbarrecht), hat sich ergeben:
A.- Die Parteien sind Eigentümer benachbarter Parzellen.
Gegenseitig, die Eheleute A._ und B._ mit Klage, die Eheleute C._ und D._ mit Widerklage, beklagten sie sich auf Entfernung bzw. Zurückschneiden von Pflanzungen. In teilweiser Gutheissung von Klage und Widerklage verpflichtete das Bezirksgericht Baden u.a. die Eheleute C._ und D._, ihre beiden Apfelbäume auf einer Höhe von maximal 3 m unter der Schere zu halten. Mit Appellation beharrten die Eheleute A._ und B._ u.a. auf der Beseitigung der Apfelbäume. Diesbezüglich wurde ihre Appellation durch das Obergericht am 23. August 2001 abgewiesen.
B.- Mit staatsrechtlicher Beschwerde vom 15. Oktober 2001 verlangen die Eheleute A._ und B._ die Aufhebung des obergerichtlichen Urteils, soweit die Appellation abgewiesen wurde, und Rückweisung der Sache zur Fällung eines neuen Entscheides. Die Eheleute C._ und D._ und das Obergericht beantragen die Abweisung der staatsrechtlichen Beschwerde.

Das Bundesgericht zieht in Erwägung:
1.- Die staatsrechtliche Beschwerde ist grundsätzlich kassatorischer Natur (<ref-ruling> E. 1b S. 328), weshalb nur die Aufhebung des angefochtenen Urteils beantragt werden kann. Gegebenenfalls hätte das Obergericht - unter Berücksichtigung der Ergebnisse des vorliegenden Verfahrens - ohne besondere Anweisung durch die erkennende Abteilung neu zu entscheiden (<ref-ruling> E. 3c/bb S. 354).
2.- a) Der Streit dreht sich nur noch um die beiden Apfelbäume der Beschwerdegegner. Die Beschwerdeführer begnügen sich nicht damit, dass die beiden Bäume auf einer Höhe von maximal 3 m unter der Schere zu halten sind, sondern beharren auf deren Beseitigung infolge Unterabstands von der Grenze.
Nach den Feststellungen des angefochtenen Entscheides stehen die beiden Apfelbäume 2,6 und 2,5 m von der Grenze des benachbarten Grundstückes entfernt. Haben sie als Zwergbäume zu gelten, ist der hiefür erforderliche Grenzabstand von 1 m eingehalten. Haben sie als Obstbäume zu gelten, müssen sie einen Grenzabstand von 3 m einhalten und stehen im Unterabstand zur Nachbargrenze. Das ist unbestritten.
b) Das Obergericht erwog im angefochtenen Entscheid, dass § 88 Abs. 2 EG ZGB den Zwergbaum nicht definiere, sondern zwischen Obstbäumen, Zwergbäumen, Zierbäumen und Sträuchern unterscheide. Die gesetzlichen Abstandsvorschriften bezweckten, dass hohe Pflanzen wegen ihrer störenden Einwirkungen grössere Abstände zum Nachbargrundstück einhalten müssten als niedrigere Pflanzen. Auf ihre Höhe sei abzustellen, weil diese für Lichtentzug, Aussicht, Schattenwurf, das Übergreifen von Wurzeln und Ästen sowie ähnliche Beeinträchtigungen massgebend sei. Ob Bäume von Natur aus die gesetzlich zulässige Maximalhöhe nicht erreichten oder ob sie unter der Schere gehalten werden müssten, sei nicht entscheidend.
Infolgedessen hätten Obstbäume als Zwergbäume zu gelten, wenn sie auf einer Höhe von maximal 3 m unter der Schere gehalten würden, und könnten bis auf eine Entfernung von 1 m von der Grenze gepflanzt werden.
c) Nach Auffassung der Beschwerdeführer ist das Obergericht damit in Willkür verfallen. § 88 Abs. 2 EG ZGB stelle offensichtlich nicht nur auf die Höhe der Bäume ab, sondern unterscheide nach Art der Bäume. Da die Beeinträchtigung des Nachbargrundstücks durch einen Baum nebst dessen Höhe wesentlich von weiteren Kriterien, wie der Breite der Äste, der Dicke des Stammes, des Umfangs der Wurzeln und der Menge des anfallenden Laubes abhänge, könne deshalb die Gattung eines Baumes ein entscheidendes Kriterium für die Festlegung des zulässigen Grenzabstandes sein. Die Annahme des Obergerichtes, ein von Natur aus störender Baum könne durch geeignetes Zurückschneiden auf eine bestimmte Höhe zu einem nicht störenden Baum gemacht werden, widerspreche nicht nur der Wertung des Gesetzgebers, sondern sei auch falsch. Dies schon aus praktischen Gründen, da unrealistisch sei, dass ein Grundeigentümer andauernd seine Bäume schneide. Deshalb sei es sinnvoll, für von Natur aus hohe Bäume grössere Abstände zu verlangen. Durch blosses Schneiden der Bäume auf eine bestimmte Höhe würden andere Beeinträchtigungen als die Höhe des Baumes nicht verringert, sondern im Gegenteil vergrössert.
Solche Bäume würden in die Breite wachsen. Ständig spriessten neue Triebe. Gegen die Natur gerichtetes Schneiden bewirke, dass die Äste und der Stamm des Baumes dick würden, ohne dass dadurch das Wachstum des Wurzelwerks gehemmt und die Immissionen verringert würden. Durch ständiges Zurückschneiden der Bäume werde auch deren optisches Erscheinungsbild stark beeinträchtigt. Zwergbäume erreichten dagegen von Natur aus nur eine bestimmte Höhe, weshalb die von ihnen ausgehenden Beeinträchtigungen von Natur aus verhältnismässig gering seien.
3.- a) Gemäss Art. 90 Abs. 1 lit. b OG muss der Beschwerdeführer nicht nur darlegen, welche verfassungsmässigen Rechte bzw. welche Rechtssätze missachtet, sondern auch inwiefern sie verletzt worden sind; dies schliesst appellatorische Kritik aus, wie sie allenfalls im Rahmen eines Berufungsverfahren vorgebracht werden kann (<ref-ruling> E. 4b S. 11 f.). Wird Willkür gerügt, ist klar und detailliert darzulegen, inwiefern der kantonale Entscheid qualifiziert unrichtig sein soll (<ref-ruling> E. 1c S. 73). Willkür liegt nicht schon dann vor, wenn eine andere Lösung als die beanstandete ebenfalls vertretbar erscheint oder gar vorzuziehen wäre. Der Beschwerdeführer muss sodann darlegen, dass nicht nur die Begründung des Entscheides, sondern auch dessen Ergebnis unhaltbar ist (<ref-ruling> E. 4a S. 5).
Neue Vorbringen tatsächlicher und rechtlicher Art sind im Verfahren der staatsrechtlichen Beschwerde, namentlich bei Willkürbeschwerden, grundsätzlich ausgeschlossen, es sei denn, erst die Begründung des angefochtenen Entscheides gebe dazu Anlass (<ref-ruling> E. 5a S. 26).
b) Umstritten ist, ob "andere Obstbäume", die nicht höher als 3 m sind, indem sie auf dieser Höhe unter der Schere gehalten werden, als Zwergbäume gelten. Die massgebende Bestimmung steht in Abs. 2 des § 88 EG ZGB (210. 100) und lautet wie folgt:
"Hochstämmige Bäume, die nicht zu den Obstbäumen gehören,
sowie Nuss- und Kastanienbäume dürfen nur in
einer Entfernung von 6 m, andere Obstbäume nur in
einer Entfernung von 3 m, Zwergbäume, Zierbäume und
Sträucher, die nicht höher sind als 3 m, nur in
einer solchen von 1 m und Reben nur einer solchen
von 1/2 m von der Grenze gepflanzt werden. Zierbäume
dürfen bis auf die Entfernung von 3 m gepflanzt werden,
sofern sie eine Höhe von 6 m nicht übersteigen.. "
Vorweg ist festzustellen, dass die Ausführungen der Beschwerdeführer weitgehend appellatorisch und damit unzulässig sind; so etwa der gegen die Auffassung des Obergerichtes ins Feld geführte Einwand, es sei unrealistisch anzunehmen, ein Eigentümer werde seine von Natur aus dauernd wachsenden Bäume auch ständig schneiden.
Die Auffassung der Beschwerdeführer, dass pflanzenkundlich als Zwerg(obst)bäume nur Bäume zu gelten hätten, die infolge schwachwüchsiger Veredelungsgrundlage klein bleiben, nicht aber solche, die durch Zurückschneiden kleinwüchsig gehalten werden, ist nicht näher zu erörtern. Zum einen sind die definitorischen Ausführungen hinsichtlich der Zwergbäume bzw. der Zwergobstbäume neu und unzulässig. Zum andern folgte aus der Auffassung der Beschwerdeführer, selbst wenn sie sich als richtig erweisen sollte, keineswegs, dass eine andere Auffassung mit dem Wortlaut und Wortsinn von § 88 Abs. 2 EG ZGB absolut unvereinbar und deshalb willkürlich ist.
§ 88 Abs. 2 EG ZGB definiert die Zwergbäume nicht.
Wenn bei dieser Sachlage das Obergericht davon ausgeht, dass als Zwergbäume auch Bäume zu gelten haben, die zufolge Zurückschneidens nicht höher als 3 m sind, ist dies vertretbar - namentlich vor dem Hintergrund, dass höhere Pflanzen mit Rücksicht auf ihre störenden Einwirkungen grössere Abstände erfordern. Stellte das Obergericht entscheidend auf die Höhe der Bäume ab, so ist es nicht in Willkür verfallen. Zwar hatten die Beschwerdeführer im kantonalen Verfahren ausgeführt, dass in Bezug auf die störenden Einwirkungen der Pflanzen, um derentwillen die Abstandsvorschriften bestünden, nicht allein die Höhe massgebend sein könne. Dass indes durch Schneiden der Bäume auf eine bestimmte Höhe andere Beeinträchtigungen als die Höhe des Baumes gar vergrössert würden, indem solche Bäume in die Breite wüchsen, ständig neu spriessten, dass gegen die Natur gerichtetes Schneiden bewirke, dass die Äste und der Stamm des Baumes dick würden, und weder das Wachstum des Wurzelwerks hemme, noch die Immissionen verringere, ja, dass durch das ständige Zurückschneiden das optische Erscheinungsbild der Baumes stark beeinträchtigt werde, sind alles neue Vorbringen, auf die nicht einzutreten ist.
5.- Zusammenfassend ergibt sich, dass die staatsrechtliche Beschwerde abzuweisen ist, soweit darauf einzutreten ist. Nach dem Ausgang des Verfahrens haben die Beschwerdeführer die Kosten des Verfahrens zu tragen (Art. 156 Abs. 1 OG) und die Beschwerdegegner angemessen zu entschädigen(Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird den Beschwerdeführern auferlegt.
3.- Die Beschwerdeführer haben die Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Obergericht (2. Zivilkammer) des Kantons Aargau schriftlich mitgeteilt.
_
Lausanne, 28. Januar 2002
Im Namen der II. Zivilabteilung des
SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: