Art. 36 ff. KSG; <ref-law> (Schiedsverfahren), hat sich ergeben:
A.-Die Parteien sind ehemalige Gesellschafter derselben Kommanditgesellschaft und hatten als solche für alle Streitigkeiten über die Gültigkeit und die Anwendung des Gesellschaftsvertrags eine Schiedsklausel unterzeichnet.
B.-Mit Klage an das zu diesem Zweck gebildete Schiedsgericht mit Sitz in Zürich beantragten A._ und B._, C._ sei aus seiner Haftung als Gesellschafter zur Zahlung von Fr. 648'334.-- zu verurteilen. Im Beschluss vom 9. November 1995 erklärte das Schiedsgericht subsidiär zum Konkordat über die Schiedsgerichtsbarkeit (KSG; SR 279) die zürcherische Zivilprozessordnung für anwendbar.
Mit Urteil vom 25. Januar 2001 hiess das Schiedsgericht die Klage im Betrag von Fr. 37'141.-- gut und wies sie im Übrigen ab.
Gegen den Schiedsspruch erhob C._ Nichtigkeitsbeschwerde an das Obergericht des Kantons Zürich.
Dieses hob den Schiedsspruch auf, wies die Klage vollumfänglich ab und verlegte die Kosten des Schiedsverfahrens in der vom Schiedsgericht festgelegten Höhe neu.
C.-Mit staatsrechtlicher Beschwerde beantragen A._ und B._ dem Bundesgericht, den obergerichtlichen Entscheid aufzuheben, eventuell ihn direkt an das Schiedsgericht zurückzuweisen.
Das Obergericht hat auf Vernehmlassung verzichtet, die Vernehmlassung des Beschwerdegegners enthält keine Anträge.

Das Bundesgericht zieht in Erwägung:
1.- Die Beschwerdeführer machen zur Hauptsache geltend, indem das Obergericht den Schiedsspruch nicht nur aufgehoben, sondern in der Sache selbst entschieden und überdies die Kosten des schiedsgerichtlichen Verfahrens neu verteilt habe, habe es das Konkordat über die Schiedsgerichtsbarkeit verletzt.
Das Obergericht hat zu dieser Frage ausgeführt, da die Sache spruchreif sei, habe es in Anwendung von <ref-law>/ZH in der Sache selbst zu entscheiden.
a) Auf Beschwerde gegen einen letztinstanzlichen kantonalen Entscheid wegen Verletzung des Konkordats über die Schiedsgerichtsbarkeit gemäss Art. 84 Abs. 1 lit. b OG überprüft das Bundesgericht die Anwendung dessen Bestimmungen - von hier nicht vorliegenden Ausnahmen abgesehen - frei (<ref-ruling> E. 5 S. 339; <ref-ruling> E. 3b S. 169; <ref-ruling> E. 3a S. 58, je mit Hinweisen).
b) Das Obergericht hatte eine Nichtigkeitsbeschwerde gemäss Art. 36 ff. KSG zu beurteilen. Dieses Rechtsmittel ist, wie die Beschwerdeführer zu Recht vorbringen, grundsätzlich kassatorischer Natur. Es steht der Beschwerdeinstanz lediglich dann zu, den Schiedsspruch zu reformieren, wenn sie die vom Schiedsgericht festgesetzten Entschädigungen der Schiedsrichter als offensichtlich übersetzt erachtet (Art. 40 Abs. 3 KSG) oder wenn sie zum Schluss kommt, dass das Schiedsgericht nicht zuständig ist.
Mit der Schiedsabrede derogieren die Parteien übereinstimmend bewusst und willentlich die staatliche Gerichtsbarkeit.
Entsprechend diesem Willen hat der Sachentscheid durch das Schiedsgericht und nicht durch das staatliche Gericht zu ergehen. Würde die Beschwerdeinstanz reformatorisch entscheiden, so träte ihr Sachurteil an die Stelle des Schiedsspruchs. Unter diesen Umständen hätten es die Parteien je einzeln in der Hand, die sachliche Zuständigkeit entgegen der Schiedsabrede mittels Anfechtung des Schiedsspruchs auf ein staatliches Gericht zu übertragen. Eine reformatorische Kompetenz der Beschwerdeinstanz steht somit im Widerspruch zur Derogation des staatlichen Gerichts. Wird die Kompetenz der Beschwerdeinstanz hingegen auf die Aufhebung bzw. Rückweisung beschränkt, bleibt die sachliche Zuständigkeit des Schiedsgerichts auch dann gewahrt, wenn der Schiedsspruch durch eine staatliche Instanz überprüft wird (Lalive/Poudret/Reymond, Le droit de l'arbitrage, 1989, Ziff. 4 zu Art. 40 KSG).
Positivrechtlich ergibt sich die kassatorische Natur der Nichtigkeitsbeschwerde aus dem Konkordat, insbesondere aus dem klaren Wortlaut des Art. 40 Abs. 1 KSG (<ref-ruling> E. 4 S. 576; Jolidon, Commentaire du Concordat suisse sur l'arbitrage, 1984, Ziff. 21 zu Art. 39 und Ziff. 3 zu Art. 40 KSG; Lalive/Poudret/Reymond, a.a.O., Ziff. 1 zu Art. 40 KSG; Rüede/Hadenfeldt, Schweizerisches Schiedsgerichtsrecht, 2. A. 1993, § 46 VII Ziff. 5). Für die Anwendung kantonalen Prozessrechts besteht unter diesen Umständen kein Raum (Rüede/Hadenfeldt, a.a.O., § 3 II Ziff. 3).
c) Indem das Obergericht gestützt auf kantonales Recht in der Sache entschieden hat, hat es die im Konkordat verankerte kassatorische Natur der Nichtigkeitsbeschwerde verkannt und damit Konkordatsrecht verletzt.
d) Der Beschwerdegegner macht sinngemäss geltend, die Verletzung der Konkordatsbestimmungen ändere nichts am materiellen Ergebnis: da die Beschwerdeführer vor Obergericht materiell nichts vorgebracht hätten, was die teilweise Gutheissung der Klage nach Aufhebung des Schiedsspruchs zu stützen vermag, müsse das Schiedsgericht im Fall einer Rückweisung ohnehin im Sinne der Erwägungen des Obergerichts entscheiden.
Der Grundsatz, dass ein Gericht im Falle der Aufhebung seines Entscheids an die Motive der aufhebenden Behörde gebunden ist, gilt allgemein (<ref-ruling> E. 2; <ref-ruling> E. 3e). Diese Bindung kann als solche ein Abweichen von der kassatorischen Natur nicht rechtfertigen. Der Umstand, dass sich die Beschwerdeführer vor Obergericht nicht materiell zum Schiedsspruch geäussert haben, kann ihnen nicht zum Nachteil gereichen, mussten sie doch nicht damit rechnen, dass sich das Obergericht die Kompetenz zur Entscheidung in der Sache anmassen würde.
Bei Aufhebung des Schiedsspruchs hat das Schiedsgericht das Verfahren in dem vom Aufhebungsentscheid gesteckten Rahmen wieder aufzunehmen und vor der Fällung des neuen Schiedsspruchs den Parteien selbstverständlich von neuem das rechtliche Gehör zu gewähren (Rüede/Hadenfeldt, a.a.O., § 46 VIII Ziff. 1d; Lalive/Poudret/Reymond, a.a.O., Ziff. 4 zu Art. 40 KSG). Aufgrund von § 55 der in diesem Punkt anwendbaren zürcherischen Zivilprozessordnung trifft das Schiedsgericht überdies eine Fragepflicht, wenn das Vorbringen einer Partei unklar, unvollständig oder unbestimmt ist.
Entgegen dem Vorbringen des Beschwerdegegners ist das Ergebnis des schiedsgerichtlichen Entscheids unter diesen Umständen durchaus offen. Dies umso mehr, als das Obergericht im vorliegenden Fall die Abweisung der Klage gerade damit begründet hat, dass der Sachverhalt ungenügend substantiiert und eine weitergehende Substantiierung im Beschwerdeverfahren vor Obergericht nicht möglich sei.
e) Auch bezüglich der Verfahrens- und Parteikosten hat sich das Obergericht nicht auf die Aufhebung des Schiedsspruchs beschränkt, sondern die Kosten des Schiedsverfahrens selbst neu verteilt. Auch dies stellt einen Verstoss gegen die kassatorische Natur der Nichtigkeitsbeschwerde und damit gegen Konkordatsrecht dar.
f) Das Kostendispositiv des obergerichtlichen Urteils fällt mit dessen Aufhebung dahin, so dass sich die Behandlung der eventualiter erhobenen Willkürrüge erübrigt.
2.- Nach dem Gesagten ist die staatsrechtliche Beschwerde gutzuheissen und das Urteil des Obergerichts vom 18. Oktober 2001 aufzuheben. Die staatsrechtliche Beschwerde an das Bundesgericht ist ebenfalls kassatorischer Natur. Von diesem Grundsatz ist lediglich abzuweichen, wenn die Aufhebung des kantonalen Urteils nicht genügt, um den verfassungsmässigen Zustand wieder herzustellen (<ref-ruling> E. 4b). Dass diese Voraussetzung hier gegeben ist, machen die Beschwerdeführer nicht geltend. Ihrem Begehren, die Streitsache direkt an das Schiedsgericht zurückzuweisen, ist daher nicht stattzugeben.
Da die Beschwerdeführer mit ihrer Beschwerde im Wesentlichen durchdringen, rechtfertigt es sich, dem Beschwerdegegner die Kosten des bundesgerichtlichen Verfahrens aufzuerlegen (Art. 156 Abs. 1 OG) und ihn zur Zahlung einer Parteientschädigung an die Beschwerdeführer zu verpflichten (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.-Die staatsrechtliche Beschwerde wird teilweise gutgeheissen, und das Urteil des Obergerichts des Kantons Zürich vom 18. Oktober 2001 wird aufgehoben.
2.-Die Gerichtsgebühr von Fr. 5'000.-- wird dem Beschwerdegegner auferlegt.
3.-Der Beschwerdegegner hat den Beschwerdeführern eine Parteientschädigung von insgesamt Fr. 5'000.-- zu bezahlen.
4.-Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, III. Zivilkammer, schriftlich mitgeteilt.
_
Lausanne, 20. März 2002
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: