(Kostenauflage bei Einstellung der Strafuntersuchung), hat sich ergeben:
A.- X._ wurde mit Urteil des Bezirksgerichts Brugg vom 12. April 1994 verpflichtet, an den Unterhalt seines Kindes, geboren am 29. November 1992, bis zum vollendeten
6. Altersjahr monatlich Fr. 350.--, bis zum vollendeten
12. Altersjahr monatlich Fr. 400.-- und nachher bis zur vollen Erwerbstätigkeit, längstens jedoch bis zur Mündigkeit, Fr. 450.-- pro Monat zu bezahlen. Am 5. Februar 1997 liess sich die Mutter des Kindes die Unterhaltsbeiträge durch den Sozialdienst der Stadt Brugg bzw. die Alimenten-Inkassostelle des Kantons Aargau im Voraus bezahlen und trat gleichzeitig ihre Forderung gegenüber dem Schuldner an die Stadt Brugg ab. Die Alimenten-Inkassostelle reichte am 28. Januar 1999 im Auftrag der Stadt Brugg gegen X._ Strafantrag wegen Vernachlässigung der Unterstützungspflicht ein. Sie machte einen Alimentenrückstand von Fr. 9'465. 20 geltend, da der Angeschuldigte seit der im Februar 1997 erfolgten Inkassoübernahme keine Zahlungen geleistet habe. Die Staatsanwaltschaft des Kantons Aargau erhob am 29. März 1999 gegen X._ Anklage wegen Vernachlässigung von Unterhaltspflichten und beantragte, der Angeklagte sei mit 10 Wochen Gefängnis, unter Gewährung des bedingten Strafvollzugs, zu bestrafen.
Das Bezirksgericht Brugg ordnete am 11. Mai 1999 die Sistierung des Verfahrens an. Die Alimenten-Inkassostelle zog mit Schreiben vom 19. Mai 2000 nach Rücksprache mit der Stadt Brugg den Strafantrag zurück, weil der Angeklagte seinen Unterhaltspflichten seit Mai 1999 regelmässig nachkomme. Mit Beschluss vom 30. Mai 2000 stellte das Bezirksgericht Brugg das Verfahren zufolge Rückzugs des Strafantrags ein. Die Verfahrenskosten, bestehend aus einer Gerichtsgebühr von Fr. 200.-- sowie den Kanzleigebühren und Auslagen von Fr. 249.--, insgesamt Fr. 449.--, auferlegte es dem Angeklagten. Dieser legte gegen den Kostenentscheid des Bezirksgerichts Berufung ein. Das Obergericht des Kantons Aargau wies die Berufung am 17. Oktober 2000 ab.
B.- Mit staatsrechtlicher Beschwerde vom 4. Dezember 2000 beantragt X._, das Urteil des Aargauer Obergerichts sei aufzuheben.
C.- Das Bezirksgericht Brugg sowie die Staatsanwaltschaft und das Obergericht des Kantons Aargau verzichteten auf eine Vernehmlassung.

Das Bundesgericht zieht in Erwägung:
1.- a) Gemäss § 164 Abs. 3 in Verbindung mit § 139 Abs. 3 der Strafprozessordnung des Kantons Aargau (StPO) kann das Gericht im Falle der Einstellung des Strafverfahrens die Verfahrenskosten ganz oder teilweise dem Angeklagten auferlegen, wenn er das Verfahren durch ein verwerfliches oder leichtfertiges Benehmen verschuldet oder seine Durchführung erschwert hat. Gestützt auf diese Vorschriften auferlegte das Bezirksgericht Brugg dem Beschwerdeführer die Kosten des Strafverfahrens, das gegen ihn im Januar 1999 auf Antrag der Alimenten-Inkassostelle des Kantons Aargau wegen Verdachts der Vernachlässigung von Unterhaltspflichten eingeleitet und am 30. Mai 2000 zufolge Rückzugs des Strafantrags eingestellt worden war. Das Aargauer Obergericht hat als Berufungsinstanz den Kostenentscheid des Bezirksgerichts geschützt.
b) Der Beschwerdeführer macht geltend, es verstosse gegen das Willkürverbot nach <ref-law> sowie gegen den Grundsatz der Unschuldsvermutung gemäss <ref-law> und Art. 6 Ziff. 2 EMRK, dass ihm die Kosten des eingestellten Strafverfahrens überbunden worden seien.
Nach der Rechtsprechung des Bundesgerichts verstösst eine Kostenauflage bei Einstellung des Strafverfahrens gegen den Grundsatz der Unschuldsvermutung, wenn dem Angeschuldigten in der Begründung des Entscheids direkt oder indirekt vorgeworfen wird, er habe sich strafbar gemacht bzw.
es treffe ihn ein strafrechtliches Verschulden. Dagegen ist es mit Verfassung und Konvention vereinbar, einem nicht verurteilten Angeschuldigten die Kosten zu überbinden, wenn er in zivilrechtlich vorwerfbarer Weise, d.h. im Sinne einer analogen Anwendung der sich aus <ref-law> ergebenden Grundsätze, gegen eine geschriebene oder ungeschriebene Verhaltensnorm klar verstossen und dadurch das Strafverfahren veranlasst oder dessen Durchführung erschwert hat (<ref-ruling> E. 3a; <ref-ruling> E. 1b; <ref-ruling> ff.).
Wird eine Kostenauflage wegen Verletzung des Grundsatzes der Unschuldsvermutung mit staatsrechtlicher Beschwerde angefochten, so prüft das Bundesgericht frei, ob der Text des Kostenentscheids direkt oder indirekt den Vorwurf einer strafrechtlichen Schuld enthält. Nur auf Willkür hin untersucht es dagegen, ob der Angeschuldigte in zivilrechtlich vorwerfbarer Weise gegen eine geschriebene oder ungeschriebene Verhaltensnorm klar verstossen und durch dieses Benehmen das Strafverfahren veranlasst oder dessen Durchführung erschwert hat. Es geht insoweit nicht mehr um den Schutzbereich von Art. 6 Ziff. 2 EMRK, welche Bestimmung den guten Ruf des Angeschuldigten gegen den direkten oder indirekten Vorwurf schützen will, ihn treffe trotz Freispruch oder Einstellung des Verfahrens eine strafrechtlich relevante Schuld. Die Voraussetzungen der Kostenauflage werden demgegenüber durch die kantonalen Strafprozessordnungen umschrieben, und in diesem Bereich greift ausschliesslich <ref-law> (unter der Geltung der früheren Bundesverfassung Art. 4 aBV) Platz, wonach die betreffenden Gesetzesbestimmungen nicht willkürlich angewendet werden dürfen (BGE <ref-ruling> E. 2f, zu Art. 4 aBV, mit Hinweisen).
2.- Das Obergericht führte im angefochtenen Entscheid aus, nach der unwidersprochen gebliebenen Darstellung im Schlussbericht des Bezirksamtes Brugg vom 26. März 1999 habe der Beschwerdeführer seine Unterhaltspflichten von Februar 1997 bis Januar 1999 nicht erfüllt. Aus diesem Grund habe die Alimenten-Inkassostelle des Kantons Aargau am 28. Januar 1999 beim Bezirksamt Brugg einen Strafantrag eingereicht. Es stehe fest, dass der Beschwerdeführer seiner ihm mit Urteil des Bezirksgerichts Brugg vom 12. April 1994 auferlegten Unterhaltspflicht im massgeblichen Zeitraum nicht nachgekommen sei. Bereits dadurch habe er das gegen ihn angehobene Strafverfahren in zivilrechtlich vorwerfbarer Weise verursacht, seien doch die Eltern nach <ref-law> verpflichtet, für den Unterhalt ihrer Kinder aufzukommen. Indem der Beschwerdeführer die gerichtlich festgesetzten Unterhaltsbeiträge nicht bezahlt habe, habe er seine Unterhaltspflicht verletzt.
Es möge - wie das Obergericht im Weiteren erklärte - angefügt werden, dass sich das monatliche Existenzminimum des Beschwerdeführers im Jahre 1998 gemäss Auskunft aus dem Betreibungsregister des Betreibungsamtes Illnau-Effretikon auf Fr. 4'395.-- belaufen habe. Darin seien Mietkosten von Fr. 1'700.-- enthalten. Nach den Aussagen, die der Beschwerdeführer am 18. März 1999 bei der persönlichen Befragung durch die Kantonspolizei Zürich gemacht habe, hätten diese Kosten jedoch bloss Fr. 1'200.-- betragen. Die Gegenüberstellung von Einkommen (Fr. 4'600.--) und Existenzminimum habe daher einen Überschuss ergeben. Der Beschwerdeführer sei denn auch in der Lage gewesen, sowohl im Jahre 1997 als auch 1998 drei Wochen Ferien in Portugal zu verbringen, die mit Gesamtkosten von Fr. 7'000.-- pro Jahr verbunden gewesen seien. Daraus ergebe sich, dass er nebst dem laufenden Unterhalt monatlich Fr. 600.-- für Ferienzwecke habe ersparen können. Dieses "Betreffnis hätte indessen ausgereicht, um seinen Unterhaltspflichten nachzukommen".
Aus diesen Überlegungen gelangte das Obergericht zum Schluss, das Bezirksgericht Brugg habe dem Beschwerdeführer zu Recht die Verfahrenskosten auferlegt.
3.- Der Beschwerdeführer wendet ein, die kantonale Instanz werfe ihm "implizit oder durch ihre 'Anfügung'" eine "schuldhafte Verletzung seiner Unterhaltspflicht" vor.
Dies erwecke den Eindruck, sie halte ihn trotz der Einstellung des Strafverfahrens für schuldig im Sinne der Anklage.
Die kantonale Instanz rechne ihm vor, dass seine finanziellen Mittel ausgereicht hätten, um die Unterhaltsbeiträge zu bezahlen. Damit werde ihm eine Schuld vorgehalten, ohne dass diese zuvor in einem gesetzlich vorgeschriebenen Verfahren nachgewiesen worden wäre und ohne dass er seine Verteidigungsrechte hätte ausüben können. Die Garantie der Unschuldsvermutung sei dadurch verletzt worden.
Wie dargelegt, verstösst eine Kostenauflage bei Einstellung des Strafverfahrens dann gegen den Grundsatz der Unschuldsvermutung, wenn dem Angeschuldigten in der Begründung des Kostenentscheids direkt oder indirekt vorgeworfen wird, er habe sich strafbar gemacht bzw. es treffe ihn ein strafrechtliches Verschulden. Die oben (E. 2) angeführten Überlegungen des Obergerichts enthalten keinen solchen Vorwurf. Das Obergericht führte aus, der Beschwerdeführer sei seiner ihm mit Urteil des Bezirksgerichts Brugg vom 12. April 1994 auferlegten Unterhaltspflicht im massgeblichen Zeitraum (von Februar 1997 bis Januar 1999) nicht nachgekommen.
Es betonte, er habe dadurch in zivilrechtlich vorwerfbarer Weise das Strafverfahren verursacht, da die Eltern gemäss <ref-law> verpflichtet seien, für den Unterhalt ihrer Kinder aufzukommen. Damit wird weder direkt noch indirekt der Eindruck erweckt, der Beschwerdeführer habe sich der Vernachlässigung von Unterhaltspflichten nach <ref-law> schuldig gemacht. Es ist hier ausdrücklich und klar festzuhalten, dass strafrechtlich gegen den Beschwerdeführer keinerlei Schuldvorwurf erhoben wird.
4.- a) Im Weiteren wirft der Beschwerdeführer dem Obergericht eine willkürliche Anwendung der Vorschrift von <ref-law> vor. Er macht geltend, das Nichtleisten der Unterhaltsbeiträge sei nur dann verwerflich oder leichtfertig im Sinne dieser Bestimmung, wenn der Unterhaltspflichtige die Beiträge leisten könne. Einem Unterhaltspflichtigen, dem die finanziellen Mittel zur Leistung der Beiträge nicht zur Verfügung stünden, könne keine verwerfliche oder leichtfertige Handlungsweise vorgeworfen werden. Der Umstand allein, dass ein Unterhaltspflichtiger die Beiträge nicht leiste, genüge für eine Kostenauflage bei Einstellung des Strafverfahrens wegen Vernachlässigung von Unterhaltspflichten nicht.
Das Obergericht habe allein aufgrund des Umstands, dass er seine Unterhaltspflicht nicht erfüllt habe, die Kostenauflage als gerechtfertigt erachtet. Damit habe es die in <ref-law> genannten Kriterien (Verwerflichkeit oder Leichtfertigkeit) missachtet und auch den Rechtsgrundsatz verletzt, dass eine Kostenauflage bei Einstellung eines Strafverfahrens ein schuldhaftes Verhalten des Angeschuldigten voraussetze.
b) Der Beschwerdeführer wurde mit Urteil des Bezirksgerichts Brugg vom 12. April 1994 verpflichtet, an den Unterhalt seines 1992 geborenen Kindes bis zum vollendeten 6. Altersjahr monatlich Fr. 350.--, bis zum vollendeten 12. Altersjahr monatlich Fr. 400.-- und nachher bis zur vollen Erwerbstätigkeit Fr. 450.-- pro Monat zu bezahlen. Es ist unbestritten, dass er seine Unterhaltspflichten von Februar 1997 bis Januar 1999 nicht erfüllt hatte und deshalb gegen ihn ein Strafverfahren wegen Verdachts der Vernachlässigung von Unterhaltspflichten eingeleitet wurde. Nach <ref-law> haben die Eltern für den Unterhalt des Kindes aufzukommen. Der Beschwerdeführer wurde mit dem erwähnten Urteil des Bezirksgerichts Brugg verpflichtet, gemäss <ref-law> an den Unterhalt seines Kindes die genannten monatlichen Geldzahlungen zu leisten. Das Obergericht legte in seinem Urteil dar, dass der Beschwerdeführer aufgrund seiner finanziellen Verhältnisse in der Lage gewesen wäre, seinen Unterhaltspflichten nachzukommen.
aa) Der Beschwerdeführer wirft dem Obergericht in diesem Zusammenhang eine Verletzung des Anspruchs auf rechtliches Gehör nach <ref-law> vor. Er macht geltend, die kantonale Instanz sei in den betreffenden Erwägungen mit keinem Wort auf die Vorbringen in seiner Berufung und die dieser Rechtsschrift beigelegten Unterlagen eingegangen. Er habe dem Obergericht einen Auszug aus der Pfändungsurkunde des Betreibungsamtes Illnau-Effretikon vom 19. Januar 1999 eingereicht, wonach sein Existenzminimum Fr. 4'742.-- betragen habe. Im angefochtenen Entscheid werde nicht begründet, weshalb nicht auf diesen Auszug, sondern auf die Auskunft aus dem Betreibungsregister des Betreibungsamtes Illnau-Effretion abgestellt worden sei, gemäss welchem sich sein monatliches Existenzminimum auf Fr. 4'395.-- belaufe.
Die aus <ref-law> folgende Pflicht zur Begründung der Entscheide bedeutet nicht, dass sich die urteilende Instanz mit allen Parteistandpunkten einlässlich auseinander setzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Sie kann sich auf die für ihren Entscheid wesentlichen Punkte beschränken. Es genügt, wenn sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinn müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde leiten liess und auf welche sich ihr Entscheid stützt (<ref-ruling> E. 2b; <ref-ruling> E. 1a; <ref-ruling> E. 2c, je mit Hinweisen).
Der angefochtene Entscheid des Obergerichts genügt diesen Anforderungen. Das Obergericht legte hinreichend dar, aus welchen Überlegungen es zum Schluss gelangte, das Bezirksgericht Brugg habe dem Beschwerdeführer mit Recht die Kosten des eingestellten Strafverfahrens auferlegt. Eine Verletzung der Begründungspflicht bzw. des <ref-law> liegt nicht vor.
bb) Im Urteil des Obergerichts wurde bei der Darstellung des Sachverhalts ausgeführt, der Beschwerdeführer mache in der Berufung geltend, er sei nicht in der Lage gewesen, seinen Unterhaltsverpflichtungen nachzukommen; sein Einkommen habe sich auf Fr. 4'600.-- belaufen; demgegenüber habe das betreibungsrechtliche Existenzminimum Fr. 4'742.-- betragen.
Das Obergericht ging bei den oben (E. 2, Abs. 2) dargestellten Überlegungen von einem monatlichen Existenzminimum von Fr. 4'395.-- aus, wie es in der vom Betreibungsamt Illnau-Effretikon am 27. November 1998 auf Anfrage der Alimenten-Inkassostelle hin erteilten Auskunft aus dem Betreibungsregister angegeben worden war. Dies ist nicht unhaltbar.
Ebensowenig handelte das Obergericht willkürlich, wenn es hinsichtlich des Mietzinses nicht auf den sowohl in diesem Register als auch in der vom Beschwerdeführer eingereichten Pfändungsurkunde angeführten Betrag von Fr. 1'700.-- abstellte, sondern auf die Aussagen des Beschwerdeführers, der am 18. März 1999 bei der Kantonspolizei Zürich anlässlich seiner Befragung zur Sache den monatlichen Mietzins inklusive Nebenkosten auf Fr. 1'200.-- beziffert hatte.
Wird von diesem Betrag ausgegangen, so würde das in der Pfändungsurkunde mit Fr. 4'742.-- angegebene Existenzminimum Fr. 4'242.-- betragen, so dass auch in diesem Fall bei einer Gegenüberstellung mit dem Einkommen (Fr. 4'600.--) noch ein Überschuss (Fr. 358.--) resultieren würde. Auf jeden Fall verstiess das Obergericht nicht gegen das Willkürverbot, wenn es die Ansicht vertrat, der Beschwerdeführer wäre aufgrund seiner finanziellen Verhältnisse in der Lage gewesen, seinen Unterhaltsverpflichtungen nachzukommen. Verhält es sich so, dann lässt sich in sachlich vertretbarer Weise annehmen, der Beschwerdeführer habe dadurch, dass er von Februar 1997 bis Januar 1999 keine Beiträge an den Unterhalt seines Kindes bezahlte, klar gegen die Verhaltensnorm von <ref-law> verstossen. Es kann mit Grund davon ausgegangen werden, das Verhalten des Beschwerdeführers weiche von dem unter den gegebenen Verhältnissen als angebracht geltenden Durchschnittsverhalten ab und sei daher zivilrechtlich vorwerfbar. Ebenfalls mit der Verfassung vereinbar ist die Überlegung, der Beschwerdeführer habe durch dieses leichtfertige Verhalten das Strafverfahren veranlasst.
Die Rüge, das Obergericht habe die Vorschrift von <ref-law> willkürlich angewendet, ist deshalb unzutreffend.
Nach dem Gesagten verletzte das Obergericht den Grundsatz der Unschuldsvermutung und das Willkürverbot nicht, wenn es zum Schluss gelangte, das Bezirksgericht Brugg habe dem Beschwerdeführer die Kosten des eingestellten Strafverfahrens zu Recht auferlegt. Die staatsrechtliche Beschwerde erweist sich somit als unbegründet und ist abzuweisen.
5.- Bei diesem Ausgang des bundesgerichtlichen Verfahrens sind die Kosten dem Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 OG). Ein Anspruch auf eine Parteientschädigung besteht nicht (Art. 159 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer, dem Bezirksgericht Brugg sowie der Staatsanwaltschaft und dem Obergericht, 2. Strafkammer, des Kantons Aargau schriftlich mitgeteilt.
_
Lausanne, 9. Juli 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: