Sachverhalt:
A.
A.a. A.X._ und B.X._ waren je zur Hälfte Miteigentümer des Grundstücks N._. Dieses verkauften sie mit öffentlich beurkundetem Kaufvertrag vom 17. Juli 2003 an Y._ und Z._, welche wiederum Miteigentum je zur Hälfte begründeten. Als Kaufpreis wurden Fr. 820'000.-- vereinbart, die durch "ausseramtliche Banküberweisung zu Gunsten der Verkäuferschaft bis zum Grundbucheintrag" getilgt werden sollten. Die Eigentumsübertragung wurde am 12. Dezember 2003 ins Grundbuch eingetragen.
Am 8. Januar 2004 zahlte die Bank S._ S.A. einen Kaufpreisanteil von Fr. 656'000.--. Zwischen den Parteien ist umstritten, ob auch der Restbetrag von Fr. 164'000.-- bezahlt worden ist.
A.b. Mit Zahlungsbefehl Nr. qqq des Betreibungsamts Waldkirch vom 19. Januar 2005 betrieb der Verkäufer A.X._ die Käuferin Y._ über den Betrag von Fr. 82'000.-- (zzgl. Zins und Kosten); B.X._ betrieb ihrerseits mit Zahlungsbefehl Nr. ppp des Betreibungsamts Waldkirch vom 19. Januar 2005 den anderen Käufer Z._ über den nämlichen Betrag. Beide Käufer erhoben Rechtsvorschlag.
Mit Entscheid des Kreisgerichts Untertoggenburg-Gossau vom 24. Juni 2005 wurde den Verkäufern je die provisorische Rechtsöffnung erteilt.
B.
B.a. Die Käufer erhoben je am 17. Oktober 2005 beim Kreisgericht Untertoggenburg-Gossau Aberkennungsklage gegen den jeweiligen betreibenden Verkäufer.
Am 6. Juni 2012 fand die Hauptverhandlung vor dem Kreisgericht statt. Die Käufer machten zusammenfassend geltend, die beiden Verkäufer hätten im Zeitpunkt der Zustellung des Zahlungsbefehls jeweils für sich allein keine Gläubigerstellung bezüglich der je geltend gemachten Forderungen im Umfang von Fr. 82'000.-- gehabt. Weiter sei die ausstehende Kaufpreisforderung ohnehin durch Zahlungen der Käufer an eine Drittperson getilgt worden.
Mit Urteil vom 7. Juni 2012 hiess das Kreisgericht die beiden Aberkennungsklagen im Umfang von Fr. 82'000.-- zzgl. Zins gut.
B.b. Mit gemeinsamer Berufung vom 26. September 2012 stellten die Verkäufer dem Kantonsgericht St. Gallen Antrag auf Aufhebung des kreisgerichtlichen Urteils vom 7. Juni 2012 sowie Abweisung der Aberkennungsklage.
Mit Entscheid vom 31. Juli 2013 wies das Kantonsgericht die Berufung ab.
C.
Mit Beschwerde in Zivilsachen stellen die Verkäufer A.X._ und B.X._ dem Bundesgericht folgende Anträge:
"1. Der Entscheid des Kantonsgerichtes St. Gallen, III. Zivilkammer, BO.2012.65-K3 und BO.2012.66-K3, vom 31.07.2013, sei aufzuheben;
2. Stattdessen sei ein Entscheid im Sinne der bei der VI eingebrachten Berufungsanträge zu fällen, nämlich:
1. Der angefochtene Entscheid vom 07.06.2012 sei rücksichtlich Disp. Ziff. 1.a), Abs. 1 und 2, 1.b), Abs. 1 und 2, 2.a), 3.a) Abs. 1, 3.b), 4.a) und 4.b) aufzuheben;
2. Stattdessen sei ein Urteil im Sinne der von den Beklagten bei der ersten Instanz eingebrachten Anträge auszufällen, nämlich
'1. Die Klage bzw. die Klagen sei bzw. seien abzuweisen, soweit darauf einzutreten ist;
2. Unter Kosten und Entschädigungsfolge zu Lasten der Kläger;'
3. Unter Kosten- und Entschädigungsfolge in sämtlichen Verfahren;
3. Unter Kosten- und Entschädigungsfolge in sämtlichen Verfahren."
Die Beschwerdegegner beantragen in ihrer Vernehmlassung Abweisung der Beschwerde, soweit Eintreten. Die Vorinstanz hat auf Vernehmlassung verzichtet.
Die Beschwerdeführer reichten Replik ein.

Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 1 S. 250; 139 III E. 1; <ref-ruling> E. 1).
1.1. Die Beschwerde richtet sich gegen einen verfahrensabschliessenden Rechtsmittelentscheid eines oberen kantonalen Gerichts (<ref-law> i.V.m. <ref-law>). Sie ist innert der Beschwerdefrist (<ref-law>) von den mit ihren Rechtsbegehren unterlegenen Parteien (<ref-law>) eingereicht worden. Bei der Streitsache handelt es sich um eine Zivilsache (<ref-law>) mit einem Streitwert von über Fr. 30'000.-- (<ref-law>).
1.2.
1.2.1. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den Lebenssachverhalt, der dem Streitgegenstand zugrunde liegt, als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, namentlich die Parteivorbringen in denselben (Urteil 4A_225/2013 vom 14. November 2013 E. 1.3.1, zur Publikation bestimmt).
Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.5).
Die Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (vgl. <ref-ruling> E. 1.2; <ref-ruling> E. 1.4.3; <ref-ruling> E. 1.3, 393 E. 7.1, 462 E. 2.4 S. 466). Soweit die Partei den Sachverhalt ergänzen will, hat sie zudem mit Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (Urteile 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: <ref-ruling>; 4A_470/2009 vom 18. Februar 2010 E. 1.2). Überdies hat sie darzutun, inwiefern die Behebung des gerügten Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>; <ref-ruling> E. 2.2.2). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>), was in der Beschwerde näher darzulegen ist (<ref-ruling> E. 3 S. 395). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (BGE <ref-ruling> E. 1.4.3, 396 E. 3.1 S. 399).
1.2.2. Die Beschwerde ist innert der Beschwerdefrist vollständig begründet einzureichen (<ref-law>). Kommt es zu einem zweiten Schriftenwechsel, darf die Replik nicht dazu verwendet werden, die Beschwerde zu ergänzen oder zu verbessern (vgl. <ref-ruling> E. 3.3.4). Die Replik ist nur zu Darlegungen zu verwenden, zu denen die Ausführungen in der Vernehmlassung eines anderen Verfahrensbeteiligten Anlass geben (vgl. <ref-ruling> E. 2.2).
1.2.3. Die Beschwerdeführer verkennen diese Grundsätze in mehrfacher Hinsicht: Zum einen tragen sie unter dem Titel "C. Materielles", Ziffern 2 bis 10, ohne Erhebung hinreichend begründeter und tauglicher Sachverhaltsrügen über weite Strecken eine eigene Version des Sachverhalts vor, der in mehreren Punkten vom vorinstanzlich festgestellten Sachverhalt abweicht bzw. über diesen hinausgeht. Darauf ist nicht einzugehen. Zum anderen bringen die Beschwerdeführer unzulässige Noven i.S. von <ref-law> vor, indem sie den Beizug von Akten aus zwei Strafverfahren beantragen, ohne in ihrer Beschwerdeschrift auch nur im Ansatz zu begründen, inwiefern erst der angefochtene Entscheid dazu Anlass gegeben haben soll, geschweige denn im Einzelnen Tatsachenelemente aufzuzeigen, welche mit den Akten bewiesen werden sollen. Darauf ist nicht einzutreten. Soweit die Beschwerdeführer in ihrer Replik eine Begründung dafür, weshalb erst der angefochtene Entscheid Anlass zur Einreichung der Noven gegeben haben soll, nachzuschieben versuchen, sind ihre Vorbringen verspätet und damit unbeachtlich.
1.3.
1.3.1. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Mit Blick auf die Begründungspflicht des Beschwerdeführers (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2.2.1; <ref-ruling> E. 1.4.1; je mit Hinweisen).
Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 sowie Art. 106 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Rechtsverletzung liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. <ref-ruling> E. 2.1 S. 245 f.; <ref-ruling> E. 2a S. 400; <ref-ruling> E. 3 S. 749). Die Begründung hat ferner in der Beschwerdeschrift selbst zu erfolgen und der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (<ref-ruling> E. 3.1 S. 399 f.; <ref-ruling> E. 2.3 S. 387 f.; je mit Hinweisen).
1.3.2. Auch diese Grundsätze verkennen die Beschwerdeführer, soweit sie über weite Strecken ihre bereits vor der Vorinstanz erhobenen Beanstandungen wiederholen, ohne sich dabei mit den vorinstanzlichen Erwägungen auseinanderzusetzen. Auf solcherart unsubstanziierte Kritik ist nicht einzutreten.
2.
Die Beschwerdeführer machen sinngemäss geltend, das Kantonsgericht habe Bundesrecht verletzt, indem es ihre Aktivlegitimation verneint habe.
2.1. Das Kantonsgericht verwies im angefochtenen Entscheid auf die seiner Ansicht nach überzeugenden Ausführungen der ersten Instanz. Danach sei das Grundstück mit dem Vertrag vom 17. Juli 2003 als "Gesamtsache" verkauft worden, womit den Verkäufern die Kaufpreisforderung nicht je zur Hälfte, sondern gesamthaft zur gesamten Hand zugestanden sei. Die Verkäufer hätten demzufolge die Betreibung gemeinsam einleiten müssen. Sofern sich die Forderung auf die ganze Sache beziehe, liege bei Miteigentümern grundsätzlich eine gemeinschaftliche Gläubigerschaft vor. Den Verkäufern stehe daher die Aktivlegitimation vorliegend nur gemeinsam zu. Zum gleichen Resultat führe eine objektive Auslegung des Kaufvertrages: Danach sei nicht von vertraglich begründeter Teilgläubigerschaft auszugehen, denn es sei im Vertrag nicht um die selbständige Veräusserung von zwei Miteigentumsanteilen gegangen, sondern um die Veräusserung des gesamten Grundstücks gegen eine Gesamtzahlung.
2.2. An einem Schuldverhältnis können sowohl auf Gläubiger- wie auf Schuldnerseite eine Mehrzahl von Personen beteiligt sein. Eine Mehrzahl von Gläubigern kann an ein und derselben Forderung im Sinne einer Einzelgläubigerschaft, einer gemeinschaftlichen Gläubigerschaft oder einer Teilgläubigerschaft berechtigt sein:
2.2.1. Im Fall von Einzelgläubigerschaft ist jeder Gläubiger berechtigt, ohne Mitwirkung der andern (also selbständig), das Ganze und nicht nur einen Teil der Leistung zu verlangen. Der Schuldner hat dabei nur einmal zu leisten und wird dadurch befreit (Gauch/Schluep/Emmenegger, a.a.O., N. 3861; Huguenin, a.a.O., N. 2320; Tercier/Pichonnaz, a.a.O., N. 1655). Der wichtigste Typus der Einzelgläubigerschaft ist die in <ref-law> geregelte Solidargläubigerschaft, die vor allem beim gemeinsamen Bankkonto (" compte-joint ") von Bedeutung ist (vgl. <ref-ruling> E. 3).
2.2.2. Bei der gemeinschaftlichen Gläubigerschaft steht die gesamte Forderung den Gläubigern ungeteilt zu, und zwar so, dass alle Gläubiger die Forderung nur gemeinsam geltend machen können. Umgekehrt kann der Schuldner sich nicht durch Leistung an einen einzelnen Gläubiger befreien, sondern nur durch Gesamtleistung an alle Gläubiger (Gauch/Schluep/Emmenegger, Schweizerisches Obligationenrecht, Allgemeiner Teil, II, 9. Aufl. 2008, N. 3872; Huguenin, Obligatio-nenrecht, Allgemeiner und Besonderer Teil, 2012, N. 2324; Tercier/Pichonnaz, Le droit des obligations, 5. Aufl. 2012, N. 1654). Nach der Lehre entsteht eine gemeinschaftliche Gläubigerschaft grundsätzlich nur dann, wenn unter den Gläubigern ein Gesamthandsverhältnis besteht (von Tuhr, Allgemeiner Teil des schweizerischen Obligationenrechts, II. Halbband, Tübingen 1925, S. 682).
2.2.3. Bei der Teilgläubigerschaft sind mehrere Gläubiger unabhängig voneinander pro rata an einer teilbaren Forderung berechtigt, wobei die Leistung in ihrer Gesamtheit nur einmal zu erbringen ist (Huguenin, a.a.O., N. 2319; Bucher, Schweizerisches Obligationenrecht Allgemeiner Teil, 2. Aufl. 1988, S. 487; Tercier/Pichonnaz, a.a.O., N. 1653). Jeder Gläubiger kann selbständig den ihm zustehenden Teil der Leistung verlangen und der Schuldner muss den entsprechenden Teil an jeden Gläubiger separat leisten (Huguenin, a.a.O., N. 2319). Die Teilforderungen bilden hier nur insoweit ein Ganzes (eine ganze Forderung), als sie aus dem gleichen Rechtsgrund entstanden sind (Gauch/Schluep/Emmenegger, a.a.O., N. 3857).
Nach ganz herrschender Lehre ist Teilgläubigerschaft bei vertraglichen Obligationen von Gesetzes wegen der Regelfall (Keller/Schöbi, Gemeinsame Rechtsinstitute für Schuldverhältnisse [...], 1984, S. 35; von Tuhr, a.a.O., S. 677; Gauch/Schluep/Emmenegger, a.a.O., N. 3856), bzw. ist bei teilbaren Leistungen wie Geldforderungen im Zweifelsfall von Teilgläubigerschaft auszugehen (Huguenin, a.a.O., N. 2319; Alfred Koller, Schweizerisches Obligationenrecht, Allgemeiner Teil, 3. Aufl. 2009, § 76 N. 6 mit Hinweis auf § 420 des deutschen BGB ["Schulden mehrere eine teilbare Leistung oder haben mehrere eine teilbare Leistung zu fordern, so ist im Zweifel jeder Schuldner nur zu einem gleichen Anteil verpflichtet, jeder Gläubiger nur zu einem gleichen Anteil berechtigt"]; a.M. nur Schwenzer, Schweizerisches Obligationenrecht, Allgemeiner Teil, 6. Aufl. 2012, N. 89.05). Teilgläubigerschaft entsteht insbesondere auch bei einem gemeinsamen Vertrag, d.h. wenn mehrere Vertragsgenossen, unter denen kein Gesamthandsverhältnis besteht, auf einer Vertragsseite kontrahieren (von Tuhr, a.a.O., S. 682). So sind etwa Miteigentümer, die ihre Liegenschaft als Ganzes verkaufen, Teilgläubiger, welche unabhängig voneinander je einen Teil der Kaufpreisforderung gegenüber der Käuferschaft geltend machen können (Gauch/Schluep/Emmenegger, a.a.O., N. 3858).
2.3. Vor diesem Hintergrund kann der Auffassung der Vorinstanz, wonach unter den Beschwerdeführern eine gemeinschaftliche Gläubigerschaft bestehe, nicht gefolgt werden. Denn allein der Umstand, dass das Grundstück als Ganzes veräussert wurde, lässt nicht darauf schliessen, dass die Verkäufer in Bezug auf die Kaufpreisforderung eine gemeinschaftliche Gläubigerschaft bilden, geschweige denn gesamthänderisch berechtigt sind. Die von der Vorinstanz zitierte Minderheitsmeinung, wonach bei Miteigentümern von einer gemeinschaftlichen Gläubigerschaft auszugehen sei, wenn sich die Forderung auf die ganze Sache beziehe (Schwenzer, a.a.O., N. 89.06 [ohne Begründung]; ihr folgend Huguenin, a.a.O., N. 2324, wobei die dort angegebenen Verweise auf Becker und von Tuhr/Escher gerade keinen Nachweis für diese Lehrmeinung zu erbringen vermögen), überzeugt mit Blick auf eine Kaufpreisforderung nicht. Denn selbst wenn die Miteigentümer wie hier die Sache als Ganzes verkaufen, begründen sie als Vertragsgenossen im Regelfall lediglich eine gemeinsame Vertragspartnerstellung, nicht jedoch eine Gesamthand. Sie sind damit nicht gemeinschaftliche Gläubiger, sondern Teilgläubiger.
Entgegen der Auffassung der Vorinstanz lässt schliesslich auch eine objektive Auslegung des vorliegenden Grundstückkaufvertrags nicht auf die Vereinbarung einer gemeinschaftlichen Gläubigerschaft schliessen. Denn allein aufgrund des Umstands, dass das gesamte Grundstück gegen eine Gesamtzahlung veräussert wurde, durften die Beschwerdegegner nach Treu und Glauben nicht davon ausgehen, dass die Verkäufer ihre Kaufpreisforderung nur gemeinsam geltend machen können, zumal diese am Kaufobjekt als Mit- und nicht als Gesamteigentümer berechtigt waren und in der Vertragsurkunde auch als Miteigentümer zu je 1/2 aufgeführt wurden.
Es ist somit vorliegend entgegen der Auffassung der Vorinstanz vom Regelfall der Teilgläubigerschaft auszugehen, d.h. der Aktivlegitimation der Verkäufer in Bezug auf je die Hälfte der ausstehenden Kaufpreisforderung. Die Passivlegitimation der Käufer ist unbestritten.
3.
Die Rüge, die Vorinstanz habe vorliegend mit der Verneinung der Aktivlegitimation Bundesrecht verletzt, ist begründet und der angefochtene Entscheid ist aufzuheben.
Gemäss den vorinstanzlichen Feststellungen haben die Beschwerdegegner nebst der Aktivlegitimation auch den Bestand der eingeklagten Forderung mindestens teilweise bestritten. Die Vorinstanz hat es unterlassen, hierzu Sachverhaltsfeststellungen zu treffen. Die Streitsache ist damit nach <ref-law> an die Vorinstanz zur Ergänzung des Sachverhalts und neuer Entscheidung zurückzuweisen.
Dem Verfahrensausgang entsprechend werden die Beschwerdegegner für das bundesgerichtliche Verfahren kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Kantonsgerichts St. Gallen, III. Zivilkammer, vom 31. Juli 2013aufgehoben. Die Sache wird zur Ergänzung des Sachverhalts und neuer Entscheidung an die Vorinstanz zurückgewiesen.
2.
Die Gerichtskosten von Fr. 5'500.-- werden den Beschwerdegegnern (unter solidarischer Haftbarkeit und intern zu gleichen Teilen) auferlegt.
3.
Die Beschwerdegegner haben die Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 6'500.-- zu entschädigen (unter solidarischer Haftbarkeit und intern zu gleichen Teilen).
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 3. März 2014
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Hurni