Erwägungen:
1.
Mit Entscheid vom 9. Februar 2017 erteilte das Kantonsgericht Zug der Ausgleichskasse Zug in der Betreibung Nr. xxx des Betreibungsamtes Steinhausen (nunmehr Betreibungsamt Zug) gegen den Beschwerdeführer definitive Rechtsöffnung für Fr. 162.90 nebst Zins zu 5 % auf Fr. 141.40 seit 17. September 2016. Als Rechtsöffnungstitel diente eine Beitragsverfügung vom 1. Februar 2016, mit welcher der Beschwerdeführer als Selbständigerwerbender für das Jahr 2016 zur Bezahlung von Sozialversicherungsbeiträgen verpflichtet worden war.
Am 16. Februar 2017 erhob der Beschwerdeführer gegen den Rechtsöffnungsentscheid Beschwerde an das Obergericht des Kantons Zug. Er verlangte sinngemäss, die Rechtsöffnung nicht zu erteilen. Am 22. Februar 2017 ersuchte der Beschwerdeführer um unentgeltliche Rechtspflege. Mit Beschluss vom 27. April 2017 trat das Obergericht auf die Beschwerde nicht ein. Mit damit verbundener Verfügung wies es das Gesuch um unentgeltliche Rechtspflege ab.
Mit Eingabe vom 29. Mai 2017 ist der Beschwerdeführer an das Bundesgericht gelangt.
2.
Aufgrund des tiefen Streitwerts (<ref-law>) und mangels Vorliegens einer Rechtsfrage von grundsätzlicher Bedeutung (<ref-law>) ist einzig die subsidiäre Verfassungsbeschwerde zulässig (<ref-law>). In einer subsidiären Verfassungsbeschwerde kann nur die Rüge der Verletzung verfassungsmässiger Rechte vorgebracht werden (<ref-law>). Diese ist zu begründen (Art. 117 i.V.m. <ref-law>), d.h. anhand der Erwägungen des kantonalen Entscheids ist klar und detailliert darzulegen, welche verfassungsmässigen Rechte und inwiefern sie durch den angefochtenen Entscheid verletzt sein sollen (<ref-ruling> E. 3.1 S. 399). Ansonsten wird auf die Beschwerde nicht eingetreten (Art. 117 i.V.m. <ref-law>).
3.
Das Obergericht ist auf die Beschwerde mangels hinreichender Begründung nicht eingetreten. Der Beschwerdeführer habe in seiner kantonalen Beschwerde vorgebracht, das Kantonsgericht habe seine Einwendungen ignoriert. Vor Kantonsgericht hat er nach den obergerichtlichen Feststellungen um Erlass ersucht und geltend gemacht, die Ausgleichskasse lehne seine Lösungsvorschläge ab. Das Obergericht hat erwogen, der Beschwerdeführer verkenne damit, dass im Verfahren auf definitive Rechtsöffnung nur die Einwendungen gemäss <ref-law> zulässig seien. Er habe aber weder Tilgung, Stundung noch Verjährung geltend gemacht. Mit seinem Begehren um Zahlungsaufschub müsse er sich an die Ausgleichskasse wenden. Die Beschwerde sei aussichtslos, so dass das Begehren um unentgeltliche Rechtspflege abzuweisen sei.
4.
Mit diesen Erwägungen setzt sich der Beschwerdeführer nicht auseinander und er zeigt nicht auf, inwiefern sie verfassungswidrig sein sollen. Stattdessen strebt er den Aufschub weiterer Quartalsrechnungen der Ausgleichskasse an, wofür das Bundesgericht nicht zuständig ist. Ebenso wenig kann im Rechtsöffnungsverfahren überprüft werden, ob das System der Erhebung von Sozialversicherungsbeiträgen von Selbständigerwerbenden recht- oder zweckmässig ist und ob vorliegend Straftatbestände verwirklicht wurden. Soweit er geltend macht, ein Gesuch in seiner Gesuchsantwort vom 26. Januar 2017 sei unbeantwortet geblieben, so betrifft dies offenbar das erstinstanztliche Verfahren. Entsprechende Rügen gegen die angeblich fehlende Beurteilung des Gesuchs wären vor Obergericht zu erheben gewesen.
Die Verfassungsbeschwerde erweist sich damit als offensichtlich unzulässig bzw. sie enthält offensichtlich keine hinreichende Begründung. Darauf ist im vereinfachten Verfahren gemäss Art. 117 i.V.m. Art. 108 Abs. 1 lit. a und b BGG durch das präsidierende Mitglied der Abteilung nicht einzutreten. Das sinngemässe Gesuch des Beschwerdeführers um aufschiebende Wirkung (Stopp des Pfändungsvollzugs) wird damit gegenstandslos.
5.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege ist abzuweisen, da die Beschwerde von Anfang an aussichtslos war (<ref-law>).

Demnach erkennt das präsidierende Mitglied:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Das Gesuch um aufschiebende Wirkung wird als gegenstandslos abgeschrieben.
3.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
4.
Die Gerichtskosten von Fr. 100.-- werden dem Beschwerdeführer auferlegt.
5.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, II. Beschwerdeabteilung, schriftlich mitgeteilt.
Lausanne, 31. Mai 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg