wird festgestellt und in Erwägung gezogen:
1.- a) Die in B._ (Kanton Bern) wohnhaften Eheleute C._ nahmen 1998 das aus Indien stammende und damals neun Jahre alte Mädchen D._ im Hinblick auf eine spätere Adoption in Pflege. Nachdem das Pflegeverhältnis am Verhalten des Kindes gescheitert war, plazierte es der inzwischen bestellte Vormund in einem Kinderheim.
Ebenfalls im Hinblick auf eine spätere Adoption wurde D._ am 1. März 1999 von den in E._ (Kanton Aargau) wohnhaften Eheleuten M. und N. X._ in Pflege genommen, nachdem sich diese am 21. August 1998 zur Übernahme sämtlicher Unterhaltskosten des Kindes in der Schweiz bzw. zur Ersetzung entsprechender Kosten des Gemeinwesens auch für den Fall einer unterbleibenden Adoption verpflichtet hatten. Am 24. August 1998 erhielten M. und N.
X._ eine vorläufige, am 10. Mai 1999 eine definitive Pflegekinderbewilligung. Zum gleichen Zeitpunkt wurde die Vormundschaft durch die Vormundschaftsbehörde von E._ übernommen.
Auch das zweite Pflegeverhältnis scheiterte am Verhalten des Kindes. Auf Anordnung des Vormunds wurde D._ am 1. Oktober 2000 im Sinne einer Notmassnahme in der Kinderabteilung des Kantonsspitals Baden untergebracht.
Die Pflegeeltern verweigerten die Rücknahme des Kindes.
Am 13. Oktober 2000 wies die Vormundschaftsbehörde D._ in das Aufnahmeheim H._ ein, wo das Mädchen bis zum 2. Januar 2001 verblieb. Hierauf wurde es vom Amtsvormund im Kinderheim F._ in G._ untergebracht, wo es sich seither aufhält.
b) M. und N. X._ ersuchten am 25. Oktober 2000 darum, die definitive Pflegekinderbewilligung rückwirkend auf den 1. Oktober 2000 aufzuheben. Mit Beschluss vom 30. Oktober 2000 wies die Vormundschaftsbehörde von E._ das Gesuch ab.
Durch Schreiben vom 8. November 2000 teilte die Gemeindekanzlei E._ dem Aufnahmeheim H._ mit, dass der Gemeinde inskünftig nur noch für deren Beitrag Rechnung zu stellen sei, wogegen die restlichen Kosten bei den Eheleuten X._ zu erheben seien.
c) Am 23. Januar 2001 ersuchten M. und N.
X._ den Gemeinderat von E._ erneut um den Widerruf der Pflegekinderbewilligung per 1. Oktober 2000.
Die Vormundschaftsbehörde beschloss am 5. März 2001, dass auf das Gesuch nicht eingetreten werde, da die mit einer Rechtsmittelbelehrung versehene Gesuchsabweisung vom 30. Oktober 2000 in Rechtskraft erwachsen sei. Eine Beschwerde der Eheleute X._ wies das Bezirksamt Rheinfelden am 17. Juli 2001 ab. Hiergegen gelangten M. und N. X._ an das Obergericht (Kammer für Vormundschaftswesen) des Kantons Aargau, das am 17. Januar 2002 die Beschwerde abwies (Dispositiv-Ziffer 1). Gleichzeitig erkannte diese Instanz, dass die Vormundschaftsbehörde angewiesen werde, die den Eheleuten X._ erteilte definitive Pflegekinderbewilligung aufzuheben (Dispositiv-Ziffer 2). Den Eheleuten X._ wurden die Verfahrenskosten auferlegt (Dispositiv-Ziffer 3), und deren Entschädigungsbegehren wurde abgewiesen (Dispositiv-Ziffer 4).
d) Mit Eingabe vom 21. Februar 2002 erheben M. und N. X._ staatsrechtliche Beschwerde und verlangen, die Dispositiv-Ziffern 1, 3 und 4 des obergerichtlichen Entscheids vom 17. Januar 2002 seien aufzuheben; allenfalls sei die Eingabe als Verwaltungsgerichtsbeschwerde entgegenzunehmen.
Das Obergericht schliesst auf Abweisung der Beschwerde.
2.- Die Beschwerdeführer erklären selber, in der Sache nicht mehr beschwert zu sein. Daher ist nicht zu sehen, inwieweit sie ein rechtlich geschütztes Interesse an der Aufhebung der Ziffer 1 des Dispositivs (Abweisung der Beschwerde) haben sollen. Eine Gutheissung der Beschwerde in diesem Punkt würde bezwecken, die Vormundschaftsbehörde durch Aufhebung des Nichteintretensentscheids anzuweisen, die Pflegekinderbewilligung aufzuheben. Letzteres ist aber bereits geschehen. In diesem Punkt ist mangels Beschwer auf die Beschwerde nicht einzutreten.
3.- Beschwert sind die Beschwerdeführer dagegen im Kosten- und Entschädigungspunkt. Dessen Regelung erachten sie als willkürlich, seien sie doch mit ihrem Begehren auf Aufhebung der Pflegekinderbewilligung durchgedrungen; mit der an die Vormundschaftsbehörde ergangenen Weisung des Obergerichts, die gegenstandslos gewordene Bewilligung aufzuheben (Dispositiv-Ziffer 2), hätten sie sogar wesentlich mehr (Recht) erhalten, als sie beantragt hätten (Aufhebung des vormundschaftsbehördlichen Nichteintretensentscheids).
a) Ziel des Antrags der Beschwerdeführer, den Nichteintretensentscheid der Vormundschaftsbehörde aufzuheben, war letztlich, diese Behörde anzuhalten, sich mit ihrem Wiedererwägungsgesuch zu befassen und die Pflegekinderbewilligung aufzuheben. Das Obergericht hat sich einerseits ausführlich dazu ausgelassen, weshalb die Vormundschaftsbehörde nicht gehalten gewesen sei, auf ihren früheren Abweisungsentscheid zurückzukommen und die Bewilligung aufzuheben. Andererseits hat es aber die Vormundschaftsbehörde förmlich angewiesen, im Ergebnis eben das zu tun, was die Beschwerdeführer verlangt hatten. Obschon es ausdrücklich auf "diesen Verfahrensausgang" hinwies, fällte es einen für die Beschwerdeführer nachteiligen Kostenspruch.
b) Sah sich das Obergericht veranlasst, die Vormundschaftsbehörde anzuweisen, die Pflegekinderbewilligung aufzuheben, ist - ungeachtet seiner theoretischen Ausführungen zur Frage des Anspruchs auf Wiedererwägung - nicht zu sehen, weshalb die Vormundschaftsbehörde nicht auch auf Gesuch der Beschwerdeführer hin die Bewilligung hätte aufheben sollen. Wäre umgekehrt die Gemeindebehörde nicht gehalten gewesen, die Bewilligung aufzuheben, ist nicht zu verstehen, weshalb sie das Obergericht (von Amtes wegen) dazu angewiesen hat. Auf jeden Fall hat das Obergericht mit seinem Entscheid dem Begehren der Beschwerdeführer im Ergebnis stattgegeben, und zwar mit einer den Vorbringen der Beschwerdeführer ähnlichen Begründung: Die Beschwerdeführer hatten die Aufhebung der Pflegekinderbewilligung unter Hinweis darauf verlangt, dass das Kind am 1. Oktober 2000 ins Kantonsspital Baden verbracht worden sei. Das Obergericht begründet die Gegenstandslosigkeit der Bewilligung und deren formelle Aufhebung seinerseits mit der vom Vormund am 1. Oktober 2000 angeordneten Wegschaffung des Kindes und mit der Weigerung der Pflegeeltern, dieses zurückzunehmen.
c) Unter den dargelegten Umständen war es willkürlich, den Beschwerdeführern die Verfahrenskosten zu überbinden und ihr Begehren um Parteientschädigung abzuweisen.
Insoweit ist die staatsrechtliche Beschwerde gutzuheissen.
4.- Die Beschwerde ist nach dem Gesagten gutzuheissen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens (Fehlen eines schutzwürdigen Interesses an der Aufhebung der ebenfalls angefochtenen Ziffer 1 des Dispositivs) rechtfertigt es sich, den Beschwerdeführern einen Teil der Kosten des vorliegenden Verfahrens aufzuerlegen (Art. 156 Abs. 1 OG) und die Parteientschädigung entsprechend zu reduzieren (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird gutgeheissen, soweit darauf einzutreten ist, und die Dispositiv-Ziffern 3 und 4 des Entscheids des Obergerichts des Kantons Aargau (Kammer für Vormundschaftswesen als zweitinstanzliche vormundschaftliche Aufsichtsbehörde) vom 17. Januar 2002 werden aufgehoben.
2.- Den Beschwerdeführern wird eine Gerichtsgebühr von Fr. 300.-- auferlegt.
3.- Der Kanton Aargau wird verpflichtet, die Beschwerdeführer für ihre Umtriebe im bundesgerichtlichen Verfahren mit Fr. 1'000.-- zu entschädigen.
4.- Dieses Urteil wird den Beschwerdeführern und dem Obergericht des Kantons Aargau (Kammer für Vormundschaftswesen als zweitinstanzliche vormundschaftliche Aufsichtsbehörde) schriftlich mitgeteilt.
_
Lausanne, 1. Mai 2002
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: