Schiedsgerichtskonkordat; Art. 29 und 30 Abs. 2 BV,hat sich ergeben:
A.- Marcel Bär-Leiser (Beschwerdeführer) übertrug der Otto Kamber Holzbau AG (Beschwerdegegnerin) Arbeiten an seiner Liegenschaft in Matzendorf. Nach Zahlung eines Teils der vereinbarten Entschädigung lehnte er es ab, die Restforderung zu begleichen. Er begründete dies damit, dass die Arbeiten mangelhaft ausgeführt seien. Die Beschwerdegegnerin klagte daraufhin auf Bezahlung von Fr. 58'556. 05 nebst Zins und Zahlungsbefehlskosten. Vor Zivilgericht einigten sich die Parteien am 15./18. Juli 1994 dahin, das Guthaben der Beschwerdegegnerin durch einen Experten für Zimmerei- und Schreinereiarbeiten ermitteln zu lassen, und wählten dazu den diplomierten Zimmermeister und Bauführer Kurt Schärer.
Dieser gelangte nach umfangreichen Untersuchungen am 17. Januar 1995 zu einem Forderungsbetrag von insgesamt Fr. 43'852. 95 (inkl. 5 % Zins bis 31. Dezember 1994).
B.- a) Mit Nichtigkeitsbeschwerde gemäss Art. 36 ff.
des Konkordats über die Schiedsgerichtsbarkeit (KSG) stellte der Beschwerdeführer am 17. Februar 1995 beim Appellationsgericht des Kantons Basel-Stadt das Begehren auf Feststellung, dass kein Schiedsspruch im Sinne des Konkordats vorliege; eventualiter verlangte er die Aufhebung des Schiedsspruchs.
Der Ausschuss des Appellationsgerichts wies die Beschwerde am 18. April 1995 ab. Mit Urteil vom 18. April 1996 hiess das Bundesgericht eine vom Beschwerdeführer gegen diesen Entscheid erhobene staatsrechtliche Beschwerde teilweise gut und hob das Urteil des Appellationsgerichts (Ausschuss) des Kantons Basel-Stadt auf.
b) Am 14. Juni 1996 hob der wiederum mit der Sache befasste Ausschuss des Appellationsgerichts des Kantons Basel-Stadt den Schiedsspruch vom 17. Januar 1995 auf und wies die Sache zur Neubeurteilung im Sinne der Erwägungen an den Einzelschiedsrichter zurück. In der Folge ergaben sich Differenzen zwischen den Parteien und dem Schiedsrichter über die weitere Behandlung des Falles, was zu einer umfangreichen Korrespondenz sowie schliesslich zu einer Aufsichtsbeschwerde des Beschwerdeführers gegen den Einzelschiedsrichter wegen Rechtsverzögerung führte, womit er u.a. dessen Absetzung verlangte. Im Rahmen dieses Verfahrens setzte der Zivilgerichtspräsident dem Einzelschiedsrichter Frist, um die "Neubeurteilung der Sache, d.h. die Verbesserung seines Schiedsspruches vom 17. Januar 1995" vorzunehmen. Daraufhin verfasste der Schiedsrichter ein mit "Ergänzung des Schiedsgerichtsentscheids vom 17. Januar 1995" betiteltes und vom 21. Dezember 1999 datiertes Dokument. Dieses übermittelte er dem Zivilgerichtspräsidenten, welcher es seinerseits den Parteien weiterleitete. Gleichzeitig schrieb er das aufsichtsrechtliche Verfahren gegen den Schiedsrichter als gegenstandslos ab.
c) Am 2. Februar 2000 erhob der Beschwerdeführer beim Appellationsgericht des Kantons Basel-Stadt Nichtigkeitsbeschwerde und beantragte, es sei festzustellen, dass die sogenannte "Ergänzung des Schiedsgerichtsentscheids vom 17. Januar 1995" kein Schiedsspruch im Sinne des KSG darstelle; eventuell sei diese als nichtig zu erklären und aufzuheben; überdies sei die Sache zur Beurteilung im Sinne des KSG und des geltenden Rechts bzw. zur entsprechenden Neubeurteilung zurückzuweisen. Der Ausschuss des Appellationsgerichts des Kantons Basel-Stadt hiess die Beschwerde mit Urteil vom 23. Juni 2000 teilweise gut und wies den Einzelschiedsrichter an, in einer weiteren Ergänzung seines Schiedsspruchs die Anträge der Parteien anzugeben. Im Übrigen wies es die Beschwerde ab.
d) Am 3. Oktober 2000 verfasste der Einzelschiedsrichter eine "2. Ergänzung des Schiedsgerichtsentscheides vom 17. Januar 1995", in welchem er die Anträge der Parteien wiedergab. Eine vom Beschwerdeführer auch gegen diese Ergänzung erhobene Nichtigkeitsbeschwerde, welche sich zugleich auch gegen die Ergänzung vom 21. Dezember 1999 richtete, wies der Ausschuss des Appellationsgerichts des Kantons Basel-Stadt mit Urteil vom 14. Januar 2001 ab, wobei er zur Begründung u.a. auf sein Urteil vom 23. Juni 2000 verwies.
C.- Der Beschwerdeführer hat gegen das Urteil des Appellationsgerichts (Ausschuss) des Kantons Basel-Stadt vom 14. Januar 2001 staatsrechtliche Beschwerde erhoben. Darin beantragt er dem Bundesgericht im Wesentlichen, das angefochtene Urteil sei aufzuheben. Die Beschwerdegegnerin schliesst sinngemäss auf Abweisung der Beschwerde. Das Appellationsgericht verzichtet auf eine Vernehmlassung und beantragt gestützt auf das angefochtene Urteil die Abweisung der Beschwerde.

Das Bundesgericht zieht in Erwägung:
1.- a) Anfechtungsobjekt der staatsrechtlichen Beschwerde bilden grundsätzlich kantonale Hoheitsakte (Art. 84 Abs. 1 OG). Urteile von Schiedsgerichten nach dem KSG sind nach ständiger Rechtsprechung des Bundesgerichtes keine "kantonalen Entscheide" im Sinne von Art. 84 Abs. 1 OG und können demgemäss weder unmittelbar noch im Anschluss an einen kantonalen Rechtsmittelentscheid mit staatsrechtlicher Beschwerde angefochten werden (<ref-ruling> E. 2c S. 155; <ref-ruling> E. 1; <ref-ruling> E. 4 S. 236; <ref-ruling> E. 1; <ref-ruling> E. 1b mit Hinweisen). Soweit der Beschwerdeführer ausschliesslich auf Mängel des Schiedsspruchs verweist, ist auf die Beschwerde daher nicht einzutreten.
b) Das staatsrechtliche Beschwerdeverfahren führt nicht das vorangegangene kantonale Verfahren weiter, sondern stellt als ausserordentliches Rechtsmittel ein selbständiges staatsgerichtliches Verfahren dar, das der Kontrolle kantonaler Hoheitsakte unter dem spezifischen Gesichtspunkt verfassungsmässiger Rechte oder Konkordatsbestimmungen dient (<ref-ruling> E. 1c S. 395). Aus diesem Grund sind die als verletzt erachteten Verfassungs- oder Konkordatsbestimmungen zu bezeichnen; überdies ist in Auseinandersetzung mit den Erwägungen des angefochtenen Entscheides im Einzelnen darzustellen, worin die Verletzung der angerufenen Rechtssätze bestehen soll (Art. 90 Abs. 1 lit. b OG). Im staatsrechtlichen Beschwerdeverfahren prüft das Bundesgericht nur klar und detailliert erhobene Rügen (Rügeprinzip), welche soweit möglich zu belegen sind. Macht der Beschwerdeführer eine Aktenwidrigkeit und damit Willkür in der Ermittlung des Sachverhaltes geltend, so hat er darzutun, dass die aktenwidrigen Annahmen erhebliche Tatsachen betreffen und sich auf den Entscheid ausgewirkt haben, rechtfertigt sich dessen Aufhebung doch von vornherein nur, wenn er sich nicht nur in einzelnen Punkten seiner Begründung, sondern auch im Ergebnis als willkürlich erweist (<ref-ruling> E. 2a S. 41; <ref-ruling> E. 2a S. 168; <ref-ruling> E. 5b S. 134, je mit Hinweisen).
Auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (vgl. <ref-ruling> E. 1b S. 495 mit Hinweisen).
Soweit sich der Beschwerdeführer damit begnügt, den Text seiner kantonalen Nichtigkeitsbeschwerde wiederzugeben, ist auf die Beschwerde nicht einzutreten, da eine Auseinandersetzung mit dem angefochtenen Entscheid fehlt. Auch die Rüge der Tatsachen- und Aktenwidrigkeit vermag den dargestellten Begründungsanforderungen nicht zu genügen, denn der Beschwerdeführer zeigt nicht auf, inwiefern das vom Appellationsgericht angeblich unberücksichtigte Vorbringen erheblich war und das Ergebnis des angefochtenen Entscheides zu beeinflussen vermocht hätte.
2.- Der Beschwerdeführer wirft dem Appellationsgericht vor, es habe die verfassungsrechtliche Begründungspflicht verletzt.
a) Das Appellationsgericht hielt im angefochtenen Urteil fest, der Beschwerdeführer bringe in der Sache die gleichen Einwendungen vor wie im Verfahren, in dem er sich gegen die erste Ergänzung des Schiedsspruches gewendet habe.
Mit der zweiten Ergänzung des Schiedsspruchs seien nur noch die Parteianträge eingefügt worden und der Beschwerdeführer mache nicht geltend, der Einzelschiedsrichter habe diese falsch wiedergegeben. Das Appellationsgericht habe bereits in seinem Urteil vom 23. Juni 2000 eine Ergänzung des Schiedsspruches als zulässig erachtet und einen Anspruch auf eine gesamte Neubeurteilung der Angelegenheit verworfen.
Seit diesem Entscheid habe sich nichts ereignet, was Zweifel an der damaligen Beurteilung aufkommen liesse; insbesondere setze sich der Beschwerdeführer mit dieser früheren Begründung nicht auseinander und zeige nicht auf, inwiefern diese unzutreffend sei. Aus diesem Grund könne vollumfänglich auf das Urteil des Appellationsgerichts vom 23. Juni 2000 verwiesen werden, welches damit Inhalt auch des zu fällenden Urteils werde. Im Entscheid vom 23. Juni 2000 führte das Appellationsgericht u.a. aus, das Bundesgericht habe in seinem Urteil vom 18. April 1996 die staatsrechtliche Beschwerde nur in wenigen Punkten gutgeheissen und den Grossteil der vom Beschwerdeführer erhobenen Rügen als unbegründet bezeichnet.
Diejenigen Punkte, welche vom Bundesgericht nicht beanstandet worden seien, könnten nicht mehr zur Diskussion gestellt werden.
b) Aufgrund des verfassungsrechtlichen Anspruchs auf rechtliches Gehör ist die entscheidende Behörde gehalten, kurz die Überlegungen zu nennen, von denen sie sich hat leiten lassen und auf welche sich ihr Entscheid stützt, so dass sich der Betroffene über die Tragweite des Entscheides Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. Von Verfassungs wegen besteht allerdings keine Verpflichtung, sich einlässlich mit sämtlichen Parteistandpunkten auseinanderzusetzen und jedes einzelne Vorbringen ausdrücklich zu widerlegen (<ref-ruling> E. 2b; <ref-ruling> E. 2a S. 149; <ref-ruling> E. 2c S. 34; <ref-ruling> E. 2c S. 57).
c) Indem das Appellationsgericht ausdrücklich darauf hinwies, dass das Urteil vom 23. Juni 2000 zum Inhalt auch des Entscheides vom 14. Januar 2001 werde, machte es deutlich, dass es sich in beiden Entscheiden von denselben rechtlichen Überlegungen hat leiten lassen. Diese wurden im Urteil vom 23. Juni 2000 einlässlich dargestellt. Damit ist das Appellationsgericht den verfassungsrechtlichen Anforderungen an die Entscheidbegründung nachgekommen. Der Vorwurf des Beschwerdeführers, der Verweis im angefochtenen Urteil auf die Begründung des in gleicher Sache ergangenen Entscheids vom 23. Juni 2000 verletze den Anspruch auf rechtliches Gehör, erweist sich daher als unbegründet.
3.- Der Beschwerdeführer sieht durch das angefochtene Urteil Art. 33 Abs. 1 lit. d KSG verletzt. Nach seiner Auffassung will das KSG mit der dort statuierten Verpflichtung, die Anträge der Parteien bzw. die Streitfrage wiederzugeben, sicherstellen, dass sich das Schiedsgericht mit der gestellten Rechtsfrage richtig auseinandersetzt. Der Schiedsrichter habe sich aber mit den Streitfragen bzw. Anträgen materiell nicht auseinandergesetzt, was das Appellationsgericht verkannt habe.
Mit seiner Rüge übersieht der Beschwerdeführer, dass das Bundesgericht bereits in seinem in der gleichen Sache ergangenen Urteil vom 18. April 1996 ausgeführt hat, das Erfordernis von Art. 33 Abs. 1 lit. d KSG bezwecke einerseits sicherzustellen, dass überprüfbar ist, ob sich das Schiedsgericht an den Rahmen der Parteianträge gehalten hat; anderseits diene die Angabe der Parteianträge dazu, die Grenzen der Rechtskraftwirkung des Schiedsspruchs abzustecken (Urteil vom 18. April 1996, E. 8b mit Hinweisen). Dass Art. 33 Abs. 1 lit. d KSG eine Handhabe für eine materielle Überprüfung des Schiedsspruchs bieten würde, wie dies der Beschwerdeführer anzunehmen scheint, trifft somit offensichtlich nicht zu.
4.- Damit erweisen sich die vom Beschwerdeführer vorgebrachten Rügen als unbegründet, soweit darauf einzutreten ist. Die staatsrechtliche Beschwerde ist deshalb abzuweisen.
Bei diesem Verfahrensausgang wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 156 Abs. 1 und Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Die Gerichtsgebühr von Fr. 2'500.-- wird dem Beschwerdeführer auferlegt.
3.- Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt (Ausschuss) schriftlich mitgeteilt.
_
Lausanne, 23. Juli 2001
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Das präsidierende Mitglied:
Der Gerichtsschreiber: