Art. 36 ff. KSG; Art. 9 BV (Schiedsverfahren), hat sich ergeben: A.-Die Parteien sind ehemalige Gesellschafter derselben Kommanditgesellschaft und hatten als solche für alle Streitigkeiten über die Gültigkeit und die Anwendung des Gesellschaftsvertrags eine Schiedsklausel unterzeichnet. B.-Mit Klage an das zu diesem Zweck gebildete Schiedsgericht mit Sitz in Zürich beantragten A._ und B._, C._ sei aus seiner Haftung als Gesellschafter zur Zahlung von Fr. 648'334.-- zu verurteilen. Im Beschluss vom 9. November 1995 erklärte das Schiedsgericht subsidiär zum Konkordat über die Schiedsgerichtsbarkeit (KSG; SR 279) die zürcherische Zivilprozessordnung für anwendbar. Mit Urteil vom 25. Januar 2001 hiess das Schiedsgericht die Klage im Betrag von Fr. 37'141.-- gut und wies sie im Übrigen ab. Gegen den Schiedsspruch erhob C._ Nichtigkeitsbeschwerde an das Obergericht des Kantons Zürich. Dieses hob den Schiedsspruch auf, wies die Klage vollumfänglich ab und verlegte die Kosten des Schiedsverfahrens in der vom Schiedsgericht festgelegten Höhe neu. C.-Mit staatsrechtlicher Beschwerde beantragen A._ und B._ dem Bundesgericht, den obergerichtlichen Entscheid aufzuheben, eventuell ihn direkt an das Schiedsgericht zurückzuweisen. Das Obergericht hat auf Vernehmlassung verzichtet, die Vernehmlassung des Beschwerdegegners enthält keine Anträge.