Sachverhalt:
A.
A._ (Beschwerdeführer) und B._ (Beschwerdegegnerin) lebten zusammen in einer eheähnlichen Gemeinschaft. Sie bewohnten gemeinsam mit den Kindern von B._ deren vormals eheliche Liegenschaft. Im Rahmen der Scheidung ihrer Ehe erwarb B._ das Alleineigentum an der Liegenschaft. Mit Vertrag vom 25. März 1999 vereinbarten die Parteien, bezüglich der Nutzung und der Tragung der Kosten der Liegenschaft eine einfache Gesellschaft zu bilden. 2003 lösten sie die darauf lastende Hypothek in der Höhe von Fr. 1'350'000.-- durch eine neue Hypothek in der Höhe von Fr. 1'700'000.-- ab, für die beide solidarisch hafteten. Im Hinblick darauf schlossen die Parteien eine weitere Vereinbarung ab. Am 18. Dezember 2003 wurde der Betrag von Fr. 350'000.-- vom Gemeinschaftskonto an A._ überwiesen. 2004 unterzeichneten die Parteien eine weitere Vereinbarung, und 2008 nahmen sie eine neue Hypothek über Fr. 1'725'000.-- an. Nach dem Verkauf zweier Parzellen zahlte B._ per 31. Dezember 2008 die Darlehenssumme zurück und verlangte daraufhin von A._ die Zahlung von Fr. 375'000.--. Zudem entstand Uneinigkeit über den Verkauf des Bildes C._ des Malers D._.
B.
Nachdem B._ A._ über eine Forderung von Fr. 414'000.-- nebst Zins betrieben hatte, klagte sie mit Klagebewilligung vom 14. Mai 2013 am 23. September 2013 vor dem Zivilgericht Basel-Stadt. Sie beantragte die Verurteilung von A._ zu einer Zahlung von Fr. 30'000.-- nebst Zins sowie die Beseitigung des Rechtsvorschlags, unter ausdrücklichem Vorbehalt von Mehrforderungen. Damit machte B._ teilklageweise zwei Teilforderungen zu je Fr. 15'000.-- geltend. Die eine Teilforderung stützte sie auf eine Regressforderung aus solidarischer Haftung aus Darlehensvertrag in der Höhe von Fr. 375'000.--, die andere auf einen Schadenersatzanspruch in der Höhe von Fr. 35'000.-- aus Verletzung des Gebrauchsleihvertrags betreffend das genannte Bild.
Mit Entscheid vom 29. April 2015 verurteilte das Zivilgericht A._ zur Zahlung von 30'000.-- nebst Zins und beseitigte den Rechtsvorschlag in diesem Umfang. Die von A._ dagegen erhobene Berufung wies das Appellationsgericht des Kantons Basel-Stadt mit Entscheid vom 23. Februar 2017 ab.
C.
A._ verlangt mit Beschwerde an das Bundesgericht, es sei die Nichtigkeit des Entscheids des Appellationsgerichts festzustellen. Der Entscheid sei aufzuheben und der Fall zur Neubeurteilung an die Vorinstanz zurückzuweisen. "Eventualiter" sei er "neu zu eröffnen". Ferner begehrt A._, die "Rechtskraft" des angefochtenen Entscheids sei bis zum Urteil des Bundesgerichts zu "sistieren". Es wurden keine Vernehmlassungen eingeholt. Mit Eingabe datiert vom 21. April 2017 reichte der Beschwerdeführer dem Bundesgericht ein Schreiben des Appellationsgerichts vom 10. April 2017 ein, wonach keine neue Eröffnung des Entscheids erfolge.

Erwägungen:
1.
Der angefochtene Entscheid des Appellationsgerichts ist ein Endentscheid (<ref-law>) einer Vorinstanz im Sinne von <ref-law>. Weiter erreicht der Streitwert die nach <ref-law> geltende Grenze von Fr. 30'000.--. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist - unter Vorbehalt zulässiger und hinlänglich begründeter Rügen (siehe Erwägung 3) - auf die Beschwerde in Zivilsachen einzutreten.
2.
Der Beschwerdeführer rügt, der Entscheid des Appellationsgerichts sei ungültig, weil er nur vom Gerichtsschreiber unterschrieben und damit nicht rechtmässig eröffnet worden sei.
Die Kritik ist unbegründet:
Gemäss <ref-law> enthält ein Entscheid die Unterschrift des Gerichts. Die Organisation der (Zivil-) Gerichte und der Schlichtungsbehörden ist Sache der Kantone, soweit das Gesetz nichts anderes bestimmt (<ref-law>). Das kantonale Recht legt in diesem Sinne namentlich fest, wer einen Entscheid zu unterzeichnen hat (Urteil 4A_615/2013 vom 4. April 2014 E. 4 mit Hinweis). Es kann vorsehen, dass nur der Gerichtsschreiber bzw. die Gerichtsschreiberin unterzeichnet (Urteil 2C_72/2016 vom 3. Juni 2016 E. 5.5.1 mit Hinweis). Das Fehlen der Unterschrift des präsidierenden Gerichtsmitglieds macht den Entscheid des Appellationsgerichts somit von Bundesrechts wegen weder nichtig noch anfechtbar. Daran vermag der Beschwerdeführer auch nichts zu ändern, wenn er die bundesgerichtliche Rechtsprechung zum - anderslautenden - <ref-law> (Urteil 6B_1231/2015 vom 31. Mai 2016 E. 1.2) zitiert und sich auf den verfassungsrechtlichen Rechtsgleichheitsgrundsatz (<ref-law>) sowie sein Recht auf ein unabhängiges Gericht (<ref-law>) beruft.
Demgegenüber beruft sich der Beschwerdeführer auch auf eine willkürliche Anwendung des kantonalen Rechts, begründet diese Rüge aber nicht hinreichend: Hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht gilt gemäss <ref-law> eine qualifizierte Rügepflicht. Macht die beschwerdeführende Partei eine Verletzung des Willkürverbots geltend, genügt es nicht, wenn sie einfach behauptet, der angefochtene Entscheid sei willkürlich. Sie hat vielmehr im Einzelnen aufzuzeigen, inwiefern dieser offensichtlich unhaltbar ist (<ref-ruling> E. 1.3 S. 60; <ref-ruling> E. 3 S. 352). Der Beschwerdeführer verfehlt diese Anforderung, wenn er sich mit dem Hinweis begnügt, der Gerichtsschreiber sei "nicht Teil des Gerichts" und eine "Unterschriftendelegation" im baselstädtischen Gerichtsorganisationsrecht nicht vorgesehen.
3.
3.1. Die Beschwerde ist hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist dabei, dass auf die Begründung des angefochtenen Entscheids eingegangen und im Einzelnen aufgezeigt wird, worin eine vom Bundesgericht überprüfbare Rechtsverletzung liegt. Die beschwerdeführende Partei soll in der Beschwerde an das Bundesgericht nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 116, 86 E. 2 S. 89). Auf rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 2.8; <ref-ruling> E. 3.2 S. 399 mit Hinweisen).
3.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
Zu beachten ist sodann insbesondere, dass das Bundesgericht in die Beweiswürdigung des Sachgerichts nur eingreift, wenn diese willkürlich ist. Willkür liegt nach der Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern bloss, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 4.1; <ref-ruling> E. 2.1; je mit Hinweisen). Die Beweiswürdigung ist mithin nicht schon dann willkürlich, wenn sie nicht mit der Darstellung der beschwerdeführenden Partei übereinstimmt, sondern bloss, wenn sie offensichtlich unhaltbar ist (<ref-ruling> E. 4.2.1; <ref-ruling> E. 2.1). Dies ist dann der Fall, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat (<ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 4.2 S. 234; <ref-ruling> E. 4.2). Inwiefern die Beweiswürdigung willkürlich sein soll, ist in der Beschwerde klar und detailliert aufzuzeigen (BGE <ref-ruling> E. 2.2). Namentlich genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem freie Sachverhaltsprüfung zukäme (vgl. <ref-ruling> E. 2.3 S. 266 f.; <ref-ruling> E. 2b).
3.3. Der Beschwerdeführer missachtet die eben dargestellten Grundsätze des Beschwerdeverfahrens. So enthält seine Beschwerde zwar insgesamt 13 Rügen; diese werden aber mehrheitlich nur sehr knapp und ohne Bezugnahme auf die Erwägungen des Appellationsgerichts begründet. Das gilt namentlich, wenn der Beschwerdeführer unter dem Titel "Rüge 4" ohne Hinweis auf die ausführliche Begründung des Appellationsgerichts meint, letzteres handle willkürlich und überspitzt formalistisch, indem es seine Zahlungen an die Beschwerdegegnerin "allesamt als nicht relevant" betrachte und nicht zur Verrechnung zulasse (vgl. auch Erwägung 6). Dort, wo auf einzelne Elemente des angefochtenen Entscheids Bezug genommen wird, werden diese aus dem Zusammenhang gerissen und ohne nachvollziehbare Begründung als willkürlich, falsch oder unrechtmässig bezeichnet. Sodann präsentiert der Beschwerdeführer wiederholt eine eigene Sachverhaltsdarstellung, widerspricht den tatsächlichen Feststellungen der Vorinstanz und erweitert diese nach Belieben. Darauf kann nicht abgestellt werden, da der Beschwerdeführer keine hinreichend begründete Sachverhaltsrügen formuliert. Unzulässig ist es insbesondere, wenn er den erhobenen Willkürvorwurf pauschal damit begründet, "die Beweise" seien "nicht gewürdigt" worden. Insgesamt ist die Beschwerde über weite Strecken nicht hinreichend begründet, und sie erweist sich in diesem Umfang als unzulässig. Im Einzelnen ist ihr immerhin was folgt zu entgegnen:
4.
4.1. Der Beschwerdeführer rügt, die Vorinstanz begehe eine Rechtsverweigerung und nehme ihm "ein faires Verfahren", indem es "lediglich das Zivilgerichtsurteil überprüf[e]". Er habe "ein Anrecht darauf, dass das Appellationsgericht sich in voller Kognition ein eigenes Urteil bild[e] und nicht nur das erstinstanzliche Urteil beurteil[e]". Die generelle Ablehnung der Vorinstanz, Beweise abzunehmen, stelle eine unerlaubte antizipierte Beweiswürdigung dar und sei nicht einmal begründet worden.
4.2. Die Rüge geht fehl:
4.2.1. Gemäss <ref-law> verfügt die Berufungsinstanz über eine vollständige Überprüfungsbefugnis der Streitsache. Dies bedeutet aber nicht, dass sie gehalten ist, von sich aus wie eine erstinstanzliche Gerichtsbehörde alle sich stellenden tatsächlichen und rechtlichen Fragen zu untersuchen, wenn die Parteien diese in oberer Instanz nicht mehr vortragen. Sie hat sich - abgesehen von offensichtlichen Mängeln - grundsätzlich auf die Beurteilung der in der schriftlichen Begründung (Art. 311 Abs. 1 und Art. 312 Abs. 1 ZPO) gegen das erstinstanzliche Urteil erhobenen Beanstandungen zu beschränken (<ref-ruling> E. 2.2.4 S. 416 f. mit Hinweisen).
<ref-law> vermittelt den Parteien keinen Anspruch auf eine Wiederaufnahme des erstinstanzlichen Beweisverfahrens vor der Berufungsinstanz und auf die Abnahme der von ihnen beantragten Beweise (<ref-ruling> E. 4.3). Die Beweisabnahme im Berufungsverfahren kommt aber zur Abklärung zulässiger Noven im Sinn von <ref-law> in Frage; sodann kann die Berufungsinstanz auch die bisherige Beweisgrundlage ergänzen, wenn sie zum Schluss kommt, dass die erste Instanz form- und fristgerecht beantragte erhebliche Beweise nicht abgenommen hat, jedoch eine Rückweisung nicht tunlich ist (siehe Urteil 5A_427/2015 vom 27. Oktober 2015 E. 3.3).
4.2.2. Dementsprechend obliegt es dem Beschwerdeführer, dem Bundesgericht im Einzelnen darzulegen, inwiefern die Vorinstanz aufgrund seiner konkreten Beanstandungen im Berufungsverfahren verpflichtet gewesen wäre, den erstinstanzlichen Entscheid zu überprüfen und selber Beweise abzunehmen. Dem kommt der Beschwerdeführer nicht nach. Stattdessen unterbreitet er dem Bundesgericht insbesondere unter den Titeln "Rüge 1", "1.1 Forderung aus Regressansprüchen" und "1.2 Forderung aus Bildverkauf" ohne Bezugnahme auf seine in der Berufung erhobenen Rügen frei seine eigene Sicht der Dinge und wirft dem Appellationsgericht falsche Rechtsanwendung, Willkür, Rechtsverweigerung und "Klageabänderung" vor. Namentlich nennt er ein "willkürliches Nichteintreten auf die Verjährungseinrede als Rechtsverweigerung", ohne jedoch aufzuzeigen, dass er sich im kantonalen Berufungsverfahren überhaupt (noch) auf die Verjährung berufen und den erstinstanzlichen Entscheid in diesem Punkt angefochten hätte. Auf die entsprechenden Ausführungen kann daher nicht eingetreten werden.
5.
Der Beschwerdeführer beanstandet, seine Verteidigungsrechte würden verletzt, da sich "das Gericht" nur auf zwei Teilforderungen beziehe, nachdem er sich gegen die Gesamtforderung habe wehren müssen. Der Prozessgegenstand sei somit "ein Anderer" gewesen.
Die Teilklage ist in <ref-law> vorgesehen. Liegt ein teilbarer Anspruch vor, so ist es zulässig, auch nur einen Teil davon einzuklagen. Als einzige spezifische Voraussetzung für die Zulässigkeit einer Teilklage statuiert das Gesetz somit die Teilbarkeit des Anspruchs. Diese ist bei Geldforderungen stets gegeben. Freilich ist bei der Erhebung von Teilklagen das überall geltende Verbot des Rechtsmissbrauchs ebenfalls zu respektieren (<ref-ruling> E. 5.2 mit Hinweis). Werden mehrere teilbare Ansprüche gegen denselben Schuldner in einer Klage gehäuft, wird davon aber bloss ein Teil eingeklagt, ist in der Klage zu präzisieren, in welcher Reihenfolge und/oder in welchem Umfang die einzelnen Ansprüche geltend gemacht werden (<ref-ruling> E. 5.4 mit Hinweisen).
Der Beschwerdeführer tut nicht dar, inwiefern die Vorinstanz die streitgegenständliche Klage gestützt auf diese Grundsätze nicht hätte zulassen dürfen, und derartiges ist auch nicht erkennbar. Dass sich der Entscheid in der Sache lediglich auf eine Teilforderung bezieht, liegt in der Natur der Teilklage.
6.
Schliesslich wird in der Beschwerde eine "unzulässige Beweislastumkehr" und eine Verletzung von <ref-law> gerügt.
Der Beschwerdeführer hatte in der Berufung verschiedene Zahlungen aufgelistet, die er teils ohne Rechtsgrund an die Beschwerdegegnerin getätigt habe, und geltend gemacht, mit diesen Zahlungen habe er seine Schuld von Fr. 30'000.-- getilgt. Die Vorinstanz bemerkte zunächst, der Beschwerdeführer unterlasse es "auch in der Berufungsbegründung", substanziiert darzulegen, mit welcher Zahlung bzw. mit welchen spezifischen Zahlungen er seiner Verpflichtung zur Zahlung von Fr. 30'000.-- nachgekommen sei. Sodann erwog sie unter Verweis auf <ref-law>, bei bestimmten Zahlungen habe der Beschwerdeführer bzw. seine Gesellschaft jeweils einen klaren Zahlungszweck angegeben. Diese "Zuweisung der Zahlungen an bestimmte Forderungen" könne nachträglich nicht geändert werden. Der Beschwerdeführer könnte die offene Forderung durch Verrechnung tilgen, wenn die genannten Zahlungen eine Forderung gegenüber der Beschwerdegegnerin begründet hätten. Der Beschwerdeführer mache aber nicht geltend, dass aus den von ihm aufgeführten Zahlungen eine Rückerstattungsforderung resultiere, und die Erfüllung durch Verrechnung sei mithin nicht nachgewiesen.
Diese Auffassung ist nicht zu beanstanden: Nach dem Grundsatz von <ref-law> hat der Schuldner, der das Erlöschen seiner Schuld durch Verrechnung im Sinne von <ref-law> geltend macht, das Vorliegen der Verrechnungsforderung zu beweisen (vgl. Urteil C.42/1986 vom 3. Juni 1986 E. 2b mit Hinweis). Entsprechendes gilt bereits für die Behauptungslast. Die Vorinstanz durfte daher die Tilgung durch Verrechnung mit der Begründung verneinen, dass der Beschwerdeführer das Vorliegen einer Verrechnungsforderung nicht behauptet hatte. Soweit der Beschwerdeführer geltend machen wollte, die angeblichen Verrechnungsforderungen beruhten auf der Zahlung einer Nichtschuld im Sinne von <ref-law>, hätte er die tatsächlichen Anspruchsvoraussetzungen gemäss dieser Norm im kantonalen Verfahren schlüssig zu behaupten gehabt. Die blosse Behauptung, die geleisteten Zahlungen seien freiwillig erfolgt und es sei dafür "eben keine Schuld vorhanden" gewesen, genügt dagegen nicht (siehe BGE 64 II 121 E. 1).
7.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Mit dem Entscheid in der Sache wird das Gesuch des Beschwerdeführers um aufschiebende Wirkung gegenstandslos. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten gemäss <ref-law> dem Beschwerdeführer aufzuerlegen. Der Beschwerdegegnerin ist kein Aufwand entstanden, für den sie nach <ref-law> zu entschädigen wäre.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt schriftlich mitgeteilt.
Lausanne, 16. Mai 2017
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Kölz