Erwägungen:
1. Mit Urteil vom 2. November 2011 (recte 2010) erteilte der Gerichtspräsident von Zofingen dem Kanton Aargau in der gegen X._ (Beschwerdeführer) eingeleiteten Betreibung Nr. 21001542 des Betreibungsamtes Rothrist definitive Rechtsöffnung für den Betrag von Fr. 1'068.-- nebst Zins zu 5% seit dem 13. August 2010, für die Kosten des Zahlungsbefehls von Fr. 70.-- sowie für die Kosten und Entschädigung des Rechtsöffnungsverfahrens. Der Beschwerdeführer hat gegen dieses Urteil beim Obergericht des Kantons Aargau Beschwerde geführt. Das Obergericht trat auf die Beschwerde nicht ein mit der Begründung, im summarischen Rechtsöffnungsverfahren seien die Kosten für behördliche Verrichtungen von der Partei vorzuschiessen, welche eine solche Verrichtung verlange. Diese Vorschusspflicht, die sich aus dem Gesetz (<ref-law>, <ref-law>) ergebe, sei dem Beschwerdeführer aus verschiedenen Rechtsöffnungsverfahren bestens bekannt und hätten daher keiner weiteren Begründung bedurft. Die Instruktionsverfügung vom 31. Januar 2011 mit der Aufforderung zur Leistung des Kostenvorschusses von Fr. 375.-- innert 10 Tagen ab Erhalt der Verfügung sei dem Beschwerdeführer gemäss dessen Empfangsbestätigung am 9. Februar 2011 zugestellt worden, womit die zehntägige Frist mit dem 10. Februar 2011 zu laufen begonnen habe und daher am Montag, 21. Februar 2011, abgelaufen sei. Der Beschwerdeführer habe binnen der genanten Frist den verlangten Kostenvorschuss nicht geleistet, weshalb androhungsgemäss auf die Beschwerde nicht einzutreten sei.
2. 2.1 Da in der vorliegenden vermögensrechtlichen Zwangsvollstreckungssache (<ref-law>) der Streitwert von Fr. 30'000.-- nicht erreicht ist (<ref-law>), ist gegen den angefochtenen Entscheid nur die Verfassungsbeschwerde gegeben (<ref-law>). In der Verfassungsbeschwerde ist die Rüge der Verletzung verfassungsmässiger Rechte vorzubringen und zu begründen (Art. 117 i.V.m. <ref-law> sowie <ref-law>), d.h. anhand der Erwägungen des kantonalen Entscheids klar und detailliert darzulegen, welche verfassungsmässigen Rechte und inwiefern sie durch diesen Entscheid verletzt sein sollen (<ref-ruling> E. 3.1 S. 399).
Der Beschwerdeführer beschränkt sich in seiner Eingabe an das Bundesgericht vom 4. Mai 2011 darauf, dem Obergericht vorzuwerfen, es habe verfassungsmässige Rechte verletzt, ohne aber zu sagen, welche Rechte mit dem angefochtenen Entscheid verletzt worden sein sollen. Zudem wird der obergerichtlichen Erwägung mit Bezug auf die Frage, wer den Kostenvorschuss zu leisten habe, einfach widersprochen und das Gegenteil behauptet, ohne aber auf die Begründung des Obergerichts einzugehen und zu erörtern, inwiefern das Obergericht mit der Abschreibung des Beschwerdeverfahrens infolge Nichtleistens des Kostenvorschusses verfassungsmässige Rechte verletzt haben soll. Auch die übrigen Ausführungen des Beschwerdeführers enthalten keine Auseinandersetzung mit den Erwägungen des angefochtenen Entscheids.
3. Auf die offensichtlich unzulässige Verfassungsbeschwerde ist somit im vereinfachten Verfahren (<ref-law>) durch das präsidierende Mitglied der II. zivilrechtlichen Abteilung unter Kostenfolge für den Beschwerdeführer (<ref-law>) nicht einzutreten.

Demnach erkennt das präsidierende Mitglied:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 3. Kammer, schriftlich mitgeteilt.
Lausanne, 20. Mai 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Escher Zbinden