Erwägungen:
1.
Mit Strafbefehl vom 16. Januar 2017 wurde der Beschwerdeführer wegen einfacher Verkehrsregelverletzung mit einer Busse von Fr. 260.-- verurteilt. Es wurde ihm eine Strafbefehlsgebühr von Fr. 400.-- auferlegt. Die ausschliesslich gegen die Gebührenauflage gerichtete Einsprache wies das Präsidium des Bezirksgerichts Rheinfelden mit Verfügung vom 9. Juni 2017 ab. Auf eine dagegen erhobene Beschwerde vom 29. Juni 2017 trat das Obergericht des Kantons Aargau am 4. August 2017 nicht ein.
Der Beschwerdeführer wendet sich mit Beschwerde an das Bundesgericht mit dem Antrag, der angefochtene Entscheid sei aufzuheben und die Angelegenheit an die Vorinstanz zurückzuweisen.
2.
Eine Beschwerde hat ein Begehren und deren Begründung zu enthalten (<ref-law>). In der Beschwerdebegründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>).
3.
Das Obergericht führt zur Begründung aus, der Beschwerdeführer habe am 29. Juni 2017 innerhalb der 10-tägigen Beschwerdefrist seit Zustellung der angefochtenen Verfügung am 23. Juni 2017 eine Beschwerde eingereicht, welche einzig den Hinweis enthalten habe, die Begründung werde nachgereicht. In der Rechtsmittelbelehrung der Verfügung vom 9. Juni 2017 sei er indessen ausdrücklich auf das Erfordernis einer schriftlichen Beschwerdebegründung innert Frist aufmerksam gemacht worden. Seinem Hinweis auf spätere Einreichung bzw. Nachreichung der Beschwerdebegründung sei zu entnehmen, dass er gewusst habe, dass er die Beschwerde zu begründen habe. Ob darin ein Antrag auf Ansetzung einer Nachfrist zur Verbesserung bzw. Begründung der Beschwerde zu erblicken sei, sei fraglich, könne aber offen bleiben. Die Beschwerdefrist könne als gesetzliche Frist nicht erstreckt werden. Eine Fristerstreckung sei somit nicht möglich. Die Gewährung einer Nachfrist würde zu einer Umgehung des Grundsatzes der Unerstreckbarkeit gesetzlicher Fristen führen bzw. das formelle Erfordernis der Begründung des Rechtsbegehrens gemäss <ref-law> seines Sinnes entleeren, wenn der Beschwerdeführer dadurch, dass er seine Anträge nicht oder nicht rechtsgenüglich begründe, über die Nachfrist von <ref-law> zusätzlich Zeit für die Begründung erwirken könne. Die der Schweizerischen Post erst am 25. Juli 2017 übergebene Beschwerdebegründung sei nach Ablauf der Beschwerdefrist eingereicht worden und damit verspätet. Auf die Beschwerde sei nicht einzutreten.
Was daran gegen das Recht im Sinne von <ref-law> verstossen könnte, ergibt sich aus der Beschwerde nicht. Der Beschwerdeführer setzt sich mit den Erwägungen im angefochtenen Entscheid nicht ansatzweise auseinander. Dass er die Beschwerde beim Obergericht innert Frist formrichtig ("schriftlich und begründet") eingereicht hat, behauptet er nicht. Ebenso wenig macht er geltend, das Obergericht habe ihm zu Unrecht keine Nachfrist angesetzt. Er wendet nur ein, "er habe die Fristen eingehalten so wie er sie verstanden habe", "ansonsten hätte er nicht die Beschwerdebegründung nachgereicht, wenn er die Frist verpasst hätte". Daraus vermag er indessen nichts zu seinen Gunsten abzuleiten. Dass seine fehlerhafte Ansicht über den Fristenlauf auf behördliches Verhalten zurückzuführen sei, macht er im Übrigen zu Recht nicht geltend. Die bezirksgerichtliche Rechtsmittelbelehrung erläutert klar, dass die Beschwerde innert 10 Tagen seit Zustellung des Entscheids schriftlich und begründet beim Obergericht einzureichen ist. Inwiefern der Nichteintretensentscheid des Obergerichts bzw. dessen Begründung verfassungs- oder rechtswidrig sein könnte, kann den Ausführungen des Beschwerdeführers mithin nicht entnommen werden. Die Beschwerde genügt den gesetzlichen Begründungsanforderungen offenkundig nicht (<ref-law>). Darauf ist im Verfahren nach <ref-law> nicht einzutreten.
4.
Ausnahmsweise kann auf eine Kostenauflage verzichtet werden. Das sinngemässe Gesuch um unentgeltliche Rechtspflege wird gegenstandslos.

Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Es werden keine Kosten erhoben.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau Beschwerdekammer in Strafsachen schriftlich mitgeteilt.
Lausanne, 21. November 2017
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Die Gerichtsschreiberin: Arquint Hill