Sachverhalt: A. A.a. A.X._ und B.X._ waren je zur Hälfte Miteigentümer des Grundstücks N._. Dieses verkauften sie mit öffentlich beurkundetem Kaufvertrag vom 17. Juli 2003 an Y._ und Z._, welche wiederum Miteigentum je zur Hälfte begründeten. Als Kaufpreis wurden Fr. 820'000.-- vereinbart, die durch "ausseramtliche Banküberweisung zu Gunsten der Verkäuferschaft bis zum Grundbucheintrag" getilgt werden sollten. Die Eigentumsübertragung wurde am 12. Dezember 2003 ins Grundbuch eingetragen. Am 8. Januar 2004 zahlte die Bank S._ S.A. einen Kaufpreisanteil von Fr. 656'000.--. Zwischen den Parteien ist umstritten, ob auch der Restbetrag von Fr. 164'000.-- bezahlt worden ist. A.b. Mit Zahlungsbefehl Nr. qqq des Betreibungsamts Waldkirch vom 19. Januar 2005 betrieb der Verkäufer A.X._ die Käuferin Y._ über den Betrag von Fr. 82'000.-- (zzgl. Zins und Kosten); B.X._ betrieb ihrerseits mit Zahlungsbefehl Nr. ppp des Betreibungsamts Waldkirch vom 19. Januar 2005 den anderen Käufer Z._ über den nämlichen Betrag. Beide Käufer erhoben Rechtsvorschlag. Mit Entscheid des Kreisgerichts Untertoggenburg-Gossau vom 24. Juni 2005 wurde den Verkäufern je die provisorische Rechtsöffnung erteilt. B. B.a. Die Käufer erhoben je am 17. Oktober 2005 beim Kreisgericht Untertoggenburg-Gossau Aberkennungsklage gegen den jeweiligen betreibenden Verkäufer. Am 6. Juni 2012 fand die Hauptverhandlung vor dem Kreisgericht statt. Die Käufer machten zusammenfassend geltend, die beiden Verkäufer hätten im Zeitpunkt der Zustellung des Zahlungsbefehls jeweils für sich allein keine Gläubigerstellung bezüglich der je geltend gemachten Forderungen im Umfang von Fr. 82'000.-- gehabt. Weiter sei die ausstehende Kaufpreisforderung ohnehin durch Zahlungen der Käufer an eine Drittperson getilgt worden. Mit Urteil vom 7. Juni 2012 hiess das Kreisgericht die beiden Aberkennungsklagen im Umfang von Fr. 82'000.-- zzgl. Zins gut. B.b. Mit gemeinsamer Berufung vom 26. September 2012 stellten die Verkäufer dem Kantonsgericht St. Gallen Antrag auf Aufhebung des kreisgerichtlichen Urteils vom 7. Juni 2012 sowie Abweisung der Aberkennungsklage. Mit Entscheid vom 31. Juli 2013 wies das Kantonsgericht die Berufung ab. C. Mit Beschwerde in Zivilsachen stellen die Verkäufer A.X._ und B.X._ dem Bundesgericht folgende Anträge: "1. Der Entscheid des Kantonsgerichtes St. Gallen, III. Zivilkammer, BO.2012.65-K3 und BO.2012.66-K3, vom 31.07.2013, sei aufzuheben; 2. Stattdessen sei ein Entscheid im Sinne der bei der VI eingebrachten Berufungsanträge zu fällen, nämlich: 1. Der angefochtene Entscheid vom 07.06.2012 sei rücksichtlich Disp. Ziff. 1.a), Abs. 1 und 2, 1.b), Abs. 1 und 2, 2.a), 3.a) Abs. 1, 3.b), 4.a) und 4.b) aufzuheben; 2. Stattdessen sei ein Urteil im Sinne der von den Beklagten bei der ersten Instanz eingebrachten Anträge auszufällen, nämlich '1. Die Klage bzw. die Klagen sei bzw. seien abzuweisen, soweit darauf einzutreten ist; 2. Unter Kosten und Entschädigungsfolge zu Lasten der Kläger;' 3. Unter Kosten- und Entschädigungsfolge in sämtlichen Verfahren; 3. Unter Kosten- und Entschädigungsfolge in sämtlichen Verfahren." Die Beschwerdegegner beantragen in ihrer Vernehmlassung Abweisung der Beschwerde, soweit Eintreten. Die Vorinstanz hat auf Vernehmlassung verzichtet. Die Beschwerdeführer reichten Replik ein.