Sachverhalt:
A. Am 12. Oktober 2010 ersuchte die Ausgleichskasse des Kantons Zug in den gegen X._ angehobenen Betreibungen Nr. yyy des Betreibungsamtes Zug und Nr. zzz des Betreibungsamtes Steinhausen beim Einzelrichter des Kantonsgerichts Zug um definitive Rechtsöffnung für Fr. 39.45 nebst Zins zu 5 % seit dem 1. Juli 2010, die Kosten des Zahlungsbefehls, die Kosten für die Rechtsöffnung und die Parteientschädigung.
B. In diesem Verfahren teilte die Ausgleichskasse dem Einzelrichter am 29. November 2010 mit, der vorgenannten Betreibung Nr. yyy des Betreibungsamtes Zug könne der Betrag von Fr. 56.45 per 29. November 2010 angerechnet werden. Der Einzelrichter schrieb in der Folge am 10. Dezember 2010 gestützt auf die Mitteilung der Ausgleichskasse das Rechtsöffnungsverfahren in der Betreibung Nr. yyy des Betreibungsamtes Zug mit Bezug auf die Forderung von Fr. 39.45 sowie die Zahlungsbefehlskosten von Fr. 17.-- zufolge Zahlung vom Protokoll ab und erteilte überdies in der Betreibung Nr. zzz des Betreibungsamtes Steinhausen im Umfang der ausstehenden Zinsen von Fr. 0.80, der Gerichtskosten von Fr. 40.-- und der Parteientschädigung von Fr. 40.-- definitive Rechtsöffnung. Das Schreiben der Ausgleichskasse vom 29. November 2010 wurde X._ erst nach dem Datum des Entscheids zugestellt (Versanddatum: 13. Dezember 2010).
C. X._ hat mit einer am 14. Januar 2011 der Post aufgegebenen Eingabe beim Bundesgericht Verfassungsbeschwerde wegen Verletzung von <ref-law> erhoben. Sie beantragt, den Entscheid des Einzelrichters vom 10. Dezember 2010 aufzuheben. Die Beschwerdeführerin hat zwar ein Gesuch um unentgeltliche Rechtspflege gestellt, den vom Bundesgericht verlangten Kostenvorschuss aber bezahlt.
Der Einzelrichter hat sich nicht vernehmen lassen. Die Ausgleichskasse des Kantons Zug schliesst auf Abweisung der Beschwerde.
Das Gesuch der Beschwerdeführerin um aufschiebende Wirkung ist mit Verfügung vom 19. Januar 2011 abgewiesen worden.

Erwägungen:
1. Angefochten ist ein Entscheid in einer Schuldbetreibungs- und Konkurssache (<ref-law>), der am 13. Dezember 2010 und damit vor Inkrafttreten der Schweizerischen Zivilprozessordnung (AS 2010 S. 1836) ergangen ist. Da der Streitwert den Betrag von Fr. 500.-- nicht überschreitet, war die kantonale Beschwerde nicht gegeben (§ 208 Ziff. 1 der Zivilprozessordnung für den Kantons Zug vom 3. Oktober 1940). Der angefochtene Entscheid gilt damit als letztinstanzlich (<ref-law>). Angesichts der Streitwerts von weniger als Fr. 30'000.-- (<ref-law>) steht einzig die Verfassungsbeschwerde offen (<ref-law>), mit der nur eine Verletzung verfassungsmässiger Rechte gerügt werden kann (<ref-law>).
2. Die Beschwerdeführerin macht zusammengefasst geltend, das Kantonsgerichtspräsidium habe ihr das Schreiben der Beschwerdegegnerin vom 29. November 2010 nicht vor dem Entscheid in der Sache vom 10. Dezember 2010 zugestellt, weshalb sie auch nicht vor dem Entscheid habe dazu Stellung nehmen können. Mit diesem Vorgehen habe die Vorinstanz <ref-law> verletzt.
2.1 Nach ständiger Rechtsprechung des Europäischen Gerichtshofs für Menschenrechte (EGMR) umfasst die Garantie des fairen Verfahrens gemäss Art. 6 Ziff. 1 EMRK das Recht der Parteien, von jedem Aktenstück und jeder dem Gericht eingereichten Stellungnahme Kenntnis zu nehmen und sich dazu zu äussern, sofern sie dies für erforderlich halten. Unerheblich ist, ob eine Eingabe neue Tatsachen oder Argumente enthält und ob sie das Gericht tatsächlich zu beeinflussen vermag (Urteil Nideröst-Huber gegen Schweiz vom 18. Februar 1997, Recueil CourEDH 1997-I S. 101 § 24 auch in VPB 61/1997 Nr. 108 S. 959; <ref-ruling> E. 4.3 S. 103 f. mit Hinweis auf weitere Urteile des EGMR). Diese allgemeinen Verfahrensgrundsätze des "fair trial" gemäss Art. 6 Ziff. 1 EMRK und <ref-law> gelten für alle gerichtlichen Verfahren (<ref-ruling> E. 4.6 S. 104). Der Anspruch einer Partei, im Rahmen eines Gerichtsverfahrens zu replizieren, bildet zugleich Teilgehalt des verfassungsmässigen Anspruchs auf rechtliches Gehör nach <ref-law>. Im Hinblick auf das Replikrecht in gerichtlichen Verfahren kommt <ref-law> und Art. 6 Ziff. 1 EMRK dieselbe Tragweite zu (<ref-ruling> E. 4).
2.2 Im vorliegenden Fall wurde das Schreiben der Beschwerdegegnerin vom 29. November 2010 nachweislich am 13. Dezember 2010 versandt. Demgegenüber ist nicht klar, wann der angefochtene Entscheid der Beschwerdeführerin zugestellt worden ist, da die Akten keine Angaben und Belege bezüglich des Zustellungszeitpunktes beinhalten. Fest steht jedenfalls, dass der angefochtene Entscheid am 10. Dezember 2010 und somit vor dem Versanddatum des Schreibens (13. Dezember 2010) ergangen ist. Damit hat die Beschwerdeführerin zu einem Schriftstück der Gegenpartei nicht vor dem Entscheid Stellung nehmen können. Angesichts der formellen Natur des Anspruchs auf rechtliches Gehör führt dies zur Aufhebung des angefochtenen Entscheids (<ref-ruling> E. 2.2 mit Hinweisen), zumal der Mangel im vorliegenden Beschwerdeverfahren infolge der beschränkten Kognition des Bundesgerichts nicht geheilt werden kann (<ref-ruling> E. 2 S. 72 die staatsrechtliche Beschwerde betreffend; Urteil 1C_326/2010 vom 19. Januar 2011 E. 2.5). Der Einzelrichter wird nunmehr der Beschwerdeführerin eine kurze Frist zur Stellungnahme zum Schreiben vom 29. November 2010 anzusetzen haben.
3. Bei diesem Ausgang des Verfahrens wird die Beschwerdegegnerin, die auf Abweisung der Beschwerde geschlossen hat, kostenpflichtig (<ref-law>). Es besteht kein Anlass, der nicht anwaltlich vertretenen Beschwerdeführerin zulasten der Beschwerdegegnerin eine Parteientschädigung zuzusprechen, zumal sie keinen entschädigungspflichtigen Aufwand ausgewiesen hat (<ref-ruling> E. 4 S. 446; <ref-ruling> E. 4 S. 136).
4. Mit der vorliegenden Kostenregelung wird das Gesuch der Beschwerdeführerin um unentgeltliche Rechtspflege gegenstandslos.
5. In der Sache ist nicht nachzuvollziehen, weshalb in der gleichen Verfügung einerseits das Rechtsöffnungsverfahren in der Betreibung Nr. yyy des Betreibungsamtes Zug infolge Zahlung der Forderung abgeschrieben worden ist, anderseits aber in der Betreibung Nr. zzz des Betreibungsamtes Steinhausen im Umfang der ausstehenden Zinsen von Fr. 0.80, der Gerichtskosten von Fr. 40.-- und der Parteientschädigung von Fr. 40.-- definitive Rechtsöffnung gewährt worden ist. Angesichts des Ausgangs des Verfahrens erübrigen sich aber Weiterungen zu dieser Frage.

Demnach erkennt das Bundesgericht:
1. Die Verfassungsbeschwerde wird gutgeheissen und der Entscheid des Einzelrichters des Kantonsgerichts Zug vom 10. Dezember 2010 wird aufgehoben. Die Sache wird im Sinn der Erwägungen an den Einzelrichter des Kantonsgerichts Zug zurückgewiesen.
2. Die Gerichtskosten von Fr. 200.-- werden der Beschwerdegegnerin auferlegt.
3. Dieses Urteil wird den Parteien und dem Kantonsgericht des Kantons Zug, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 8. März 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Zbinden