Art. 9 und 29 Abs. 2 BV (Zivilprozess), hat sich ergeben: A.- C._ verkaufte am 4. Juli 1995 A._ 286 Inhaberaktien der D._ AG für insgesamt Fr. 43'300.--, zahlbar am 31. Dezember 1997. Der Verkäufer trat seine Forderungen aus dem Kaufvertrag am 9. Oktober 1997 an die B._ Ltd. ab, welche die Kaufpreisforderung in der Folge gegenüber A._ geltend machte. Dieser zahlte nicht, worauf die B._ Ltd. Betreibung einleitete und am 31. März 1998 provisorische Rechtsöffnung für den Betrag von Fr. 43'300.-- erhielt. A._ erhob Aberkennungsklage gegen die B._ Ltd. mit der Begründung, zur Zahlungsverweigerung berechtigt zu sein, weil er eine den Kaufpreis übersteigende Verrechnungsforderung gegenüber C._ habe. Das Kantonsgericht Zug wies die Klage mit Urteil vom 10. Juni 1999 ab. Der Kläger appellierte an das Obergericht des Kantons Zug, das sein Rechtsmittel mit Urteil vom 4. September 2001 abwies und den Entscheid des Kantonsgerichts bestätigte. B.- A._ hat das Urteil des Obergerichts mit staatsrechtlicher Beschwerde und Berufung beim Bundesgericht angefochten. Mit der vorliegenden Beschwerde beantragt er, das angefochtene Urteil aufzuheben. Die Beschwerdegegnerin und das Obergericht schliessen auf Abweisung der Beschwerde.