Erwägungen:
1.
Mit Entscheid vom 30. November 2016 erteilte das Kreisgericht St. Gallen dem Beschwerdegegner in zwei Betreibungen gegen die Beschwerdeführer provisorische Rechtsöffnung für Fr. 17'500.-- nebst Zins.
Gegen diesen Entscheid erhoben die Beschwerdeführer am 10. Dezember 2016 Beschwerde an das Kantonsgericht St. Gallen. Mit Entscheid vom 28. April 2017 wies das Kantonsgericht die Beschwerde ab, soweit es darauf eintrat.
Mit Eingabe vom 3. Juni 2017 haben die Beschwerdeführer Beschwerde in Zivilsachen (<ref-law>) und subsidiäre Verfassungsbeschwerde (<ref-law>) an das Bundesgericht erhoben.
2.
Aufgrund des tiefen Streitwerts (<ref-law>; <ref-ruling> E. 1.2 S. 472 f.) und mangels Vorliegens einer Rechtsfrage von grundsätzlicher Bedeutung (<ref-law>) ist einzig die subsidiäre Verfassungsbeschwerde zulässig (<ref-law>). In einer subsidiären Verfassungsbeschwerde kann nur die Rüge der Verletzung verfassungsmässiger Rechte vorgebracht werden (<ref-law>). Diese ist zu begründen (Art. 117 i.V.m. <ref-law>), d.h. anhand der Erwägungen des kantonalen Entscheids ist klar und detailliert darzulegen, welche verfassungsmässigen Rechte und inwiefern sie durch den angefochtenen Entscheid verletzt sein sollen (<ref-ruling> E. 3.1 S. 399). Ansonsten wird auf die Beschwerde nicht eingetreten (Art. 117 i.V.m. <ref-law>).
3.
Nach den obergerichtlichen Feststellungen haben die Beschwerdeführer vom Beschwerdegegner im Mai 2016 eine Eigentumswohnung erworben, die sie bereits vor der Überschreibung, nämlich im September 2014, auf der Basis eines Mietvertrages bezogen hatten. Als Titel für die provisorische Rechtsöffnung hat der Beschwerdegegner eine Abzahlungsvereinbarung vom 23. Mai 2016 über offene Mietzinse für die Zeitspanne ab Einzug bis zur Beurkundung des Kaufvertrags eingereicht.
Das Kantonsgericht hat zunächst erwogen, im Beschwerdeverfahren seien neue Vorbringen und Beweismittel unzulässig, weshalb namentlich die von den Beschwerdeführern neu eingereichten Beweismittel nicht zu berücksichtigen seien. Anhaltspunkte für den von den Beschwerdeführern geltend gemachten Willensmangel (Drohung/Erpressung/Nötigung) fehlten. Die Beschwerdeführer hätten die Rückerstattung von Nebenkosten (ca. Fr. 2'000.--) geltend gemacht. Dies sei nur unter dem Titel der Verrechnung zu prüfen, jedoch sei die Forderung nicht glaubhaft gemacht. Ebenfalls nicht glaubhaft gemacht sei, dass der Beschwerdegegner den Kaufpreis ungerechtfertigt um Fr. 5'000.-- erhöht habe. Hinsichtlich der Mängel am übernommenen Inventar fehlees selbst nach der Darstellung der Beschwerdeführer an sofort vorlegbaren objektiven Anhaltspunkten.
Die Beschwerdeführer setzen sich vor Bundesgericht mit diesen Erwägungen nicht auseinander und sie legen nicht dar, inwiefern sie verfassungswidrig sein sollen. Die Beschwerde erschöpft sich stattdessen im Wesentlichen in unbelegten Tatsachenbehauptungen. Soweit sie geltend machen wollen, das Obergericht hätte die Akten des Aberkennungsverfahrens beiziehen müssen, befassen sie sich nicht mit den entsprechenden Erwägungen des Obergerichts zur Unzulässigkeit neuer Beweismittel im Beschwerdeverfahren. Die Beschwerdeführer wenden sich ausserdem gegen andere Verfahren. Darauf kann von vornherein nicht eingetreten werden, da diese nicht Gegenstand des vorliegenden Rechtsöffnungsverfahrens sind. Dies betrifft namentlich ihre Kritik am Aberkennungsverfahren vor Kreisgericht St. Gallen und die provisorische Pfändungsankündigung. Soweit ersichtlich, fehlt es insoweit auch an anfechtbaren Entscheiden (Art. 114 i.V.m. <ref-law>). Wenn sie rügen wollen, das Kreisgericht behandle ihre Aberkennungsklage nicht bzw. zu zögerlich, so haben sie sich an das Kantonsgericht zu wenden.
Die Verfassungsbeschwerde erweist sich damit als offensichtlich unzulässig bzw. sie enthält offensichtlich keine hinreichende Begründung. Darauf ist im vereinfachten Verfahren gemäss Art. 117 i.V.m. Art. 108 Abs. 1 lit. a und b BGG durch das präsidierende Mitglied der Abteilung nicht einzutreten.
4.
Bei diesem Ausgang des Verfahrens tragen die Beschwerdeführer die Gerichtskosten (<ref-law>).

Demnach erkennt das präsidierende Mitglied:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 500.-- werden den Beschwerdeführern auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Einzelrichter für Beschwerden SchKG, schriftlich mitgeteilt.
Lausanne, 8. Juni 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg