Erwägungen:
1.
1.1. Mit Entscheid vom 11. Oktober 2019 trat das Kantonsgericht Zug auf das Rechtsöffnungsgesuch der Beschwerdegegnerin gegenüber dem Beschwerdeführer nicht ein. Mit Urteil vom 5. Februar 2020 hiess das Obergericht des Kantons Zug die Beschwerde der Beschwerdegegnerin gut, hob den Entscheid des Kantonsgerichts auf und erteilte der Beschwerdegegnerin in der Betreibung Nr. xxx des Betreibungsamtes Baar auf Verwertung eines Faustpfandes die provisorische Rechtsöffnung für Fr. 1'346.25 nebst Zins zu 5 % seit 2. Juli 2019 und für Fr. 1'346.25 nebst Zins zu 5 % seit 2. August 2019 sowohl für die Forderung als auch für das Pfandrecht.
1.2. Gegen dieses Urteil hat der Beschwerdeführer am 7. März 2020 (Postaufgabe) Beschwerde in Zivilsachen, eventuell subsidiäre Verfassungsbeschwerde, an das Bundesgericht erhoben. Er ersucht um aufschiebende Wirkung und verlangt eine öffentliche mündliche Verhandlung.
Mit Verfügung vom 9. März 2020 hat das Bundesgericht den Beschwerdeführer zur Bezahlung eines Kostenvorschusses von Fr. 2'500.-- aufgefordert. Der Beschwerdeführer hat diese Sendung auf der Post nicht abgeholt. Mit Verfügung vom 24. März 2020 hat das Bundesgericht dem Beschwerdeführer Nachfrist bis zum 23. April 2020 zur Bezahlung des Kostenvorschusses angesetzt (unter Androhung des Nichteintretens auf die Beschwerde bei nicht rechtzeitiger Bezahlung; <ref-law>). Der Beschwerdeführer hat auch diese Sendung auf der Post nicht abgeholt. Der Beschwerdeführer hat den Kostenvorschuss nicht bezahlt.
Das Bundesgericht hat Stellungnahmen zum Gesuch um aufschiebende Wirkung eingeholt. Die Beschwerdegegnerin hat am 18. März 2020 um Abweisung des Gesuchs ersucht.
2.
Da der Beschwerdeführer den Kostenvorschuss nicht bezahlt hat, ist androhungsgemäss mit Entscheid des Abteilungspräsidenten auf die Beschwerde nicht einzutreten (Art. 62 Abs. 3 i.V.m. <ref-law>). Eine öffentliche mündliche Verhandlung findet hiefür nicht statt. Mit dem Entscheid in der Sache wird zudem das Gesuch um aufschiebende Wirkung gegenstandslos.
3.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die - reduzierten - Gerichtskosten (<ref-law>). Eine Umtriebs- oder Parteientschädigung zu seinen Gunsten fällt ausser Betracht. Hingegen hat er die Beschwerdegegnerin für ihre nunmehr nutzlosen Aufwendungen im Zusammenhang mit der Stellungnahme zum Gesuch um aufschiebende Wirkung zu entschädigen (<ref-law>).

Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegnerin mit Fr. 500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, II. Beschwerdeabteilung, schriftlich mitgeteilt.
Lausanne, 14. Mai 2020
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Zingg