Kaufvertrag, Rücktritt, Abtretung, hat sich ergeben:
A.- a) Mit Kaufvertrag vom 15. Dezember 1988 und Nachtrag vom 24. Februar 1989 erwarben A._, B._, C._ und D._ (nachfolgend: die Beklagten) die Parzellen Nrn. 1.. und 2.. des Grundbuches der Gemeinde F._ und traten in der Folge als Baugesellschaft X._ auf. Am 26. März 1990 begründeten sie als Miteigentümer der Liegenschaft an dem zu erstellenden Mehrfamilienhaus mit 13 Wohnungen Stockwerkeigentum.
b) Am 12./15. Oktober 1990 schlossen die Beklagten im Namen der Baugesellschaft X._ mit der Firma G._ + Cie einen öffentlich beurkundeten Vertrag, worin diese sich verpflichtete, insgesamt sieben Stockwerkeinheiten und acht Autoeinstellplätze in dem von der Baugesellschaft X._ zu errichtenden Mehrfamilienhaus zu einem festen Preis zum Weiterverkauf zu übernehmen. Die Parteien verzichteten darauf, Handänderungen an die Firma G._ grundbuchlich auszuweisen, um einerseits Kosten zu sparen und andererseits die Sperrfrist für die Veräusserung von nichtlandwirtschaftlichen Grundstücken zu umgehen.
Die Firma G._ war indes allein berechtigt, über die fraglichen Stockwerkeinheiten zu verfügen, wobei eine allfällige Differenz zwischen dem von ihr gegenüber dem jeweiligen Käufer erzielten und dem mit den Beklagten vereinbarten Übernahmepreis zu ihren Lasten bzw. zu ihren Gunsten ausfiel. Sollte die Firma G._ bis zum 30. Juni 1991 einzelne der fraglichen Stockwerkeinheiten noch nicht verkauft haben, war sie verpflichtet, diese zum festgesetzten Preis zu Eigentum zu übernehmen. Diese Frist wurde in einem Nachtrag zu diesem Vertrag am 27. Juni 1991 bis zum 30. Juni 1992 verlängert.
c) Am 16. August 1993 traten die Beklagten vom Vertrag zurück. Bis zu jenem Zeitpunkt waren drei der insgesamt sieben von der Firma G._ übernommenen Wohnungen verkauft.
B.- a) Am 28. April 1994 belangte E._ (Kläger), der sich bereits am 6. Dezember 1990 als stiller Teilhaber der Firma G._ zu 50% am Vertrag zwischen dieser und der Baugesellschaft X._ vom 12./15. Oktober 1990 beteiligt hatte, als Zessionar der Firma G._ die Beklagten auf Rückerstattung geleisteter Zahlungen von insgesamt Fr. 1'455'546.-- nebst Zins. Die Hauptforderung reduzierte er im Lauf des Verfahrens auf Fr. 1'370'150. 95.
Mit Urteil vom 17. Oktober 1996 wies das Bezirksgericht Oberlandquart die Klage ab. Es erwog, der Vertrag zwischen den Beklagten und der Firma G._ sei wegen Verstosses gegen den Bundesbeschluss über die Sperrfrist für die Veräusserung nichtlandwirtschaftlicher Grundstücke nichtig gewesen und die Rückforderung der gestützt darauf geleisteten Zahlungen scheitere an Art. 66 OR.
b) Auf Berufung des Klägers hob das Kantonsgericht von Graubünden (Zivilkammer) dieses Urteil am 16. Dezember 1997 auf. Es verneinte die Vertragsnichtigkeit und verwarf den Einwand der Beklagten, dem Kläger fehle die Sachlegitimation aufgrund ungültiger Forderungszessionen. Die Streitsache wies es zur materiellen Behandlung der eingeklagten Forderungen an das Bezirksgericht zurück.
c) Auf eine gegen diesen Entscheid erhobene eidgenössische Berufung der Beklagten trat das Bundesgericht mit Urteil vom 17. Juni 1998 nicht ein, da nicht ersichtlich war, weshalb sich eine ausnahmsweise Anhandnahme der Berufung gegen den materiellen Zwischenentscheid aus Gründen erheblicher Prozessökonomie rechtfertigte.
d) Mit Urteil vom 3. Dezember 1998 verpflichtete das Bezirksgericht Oberlandquart die Beklagten unter solidarischer Haftbarkeit zur Zahlung von Fr. 1'029'523. 80 zuzüglich Zins an den Kläger.
e) Gegen diesen Entscheid gelangten die Beklagten mit Berufung und der Kläger mit Anschlussberufung an das Kantonsgericht von Graubünden, welches beide Rechtsmittel teilweise guthiess und die Beklagten unter solidarischer Haftbarkeit zur Zahlung von Fr. 1'194'226. 80 zuzüglich Zins zu 5% auf Fr. 1'000'000.-- seit 3. Juli 1991, auf Fr. 65'000.-- seit 11. März 1992, auf Fr. 65'000.-- seit
18. März 1992 und auf Fr. 64'226. 80 seit 17. Dezember 1992 an den Kläger verpflichtete.
C.- Die Beklagten führen eidgenössische Berufung mit dem Antrag, das kantonsgerichtliche Urteil aufzuheben und die Klage abzuweisen. Der Kläger schliesst auf Abweisung der Berufung, soweit darauf einzutreten ist.

Das Bundesgericht zieht in Erwägung:
1.- a) Nach Art. 55 Abs. 1 lit. c OG ist in der Berufungsschrift anzugeben, welche Bundesrechtssätze der angefochtene Entscheid verletzt und inwiefern er gegen sie verstösst.
Die Rechtsschrift wird dieser Bestimmung nur teilweise gerecht. Statt konkrete rechtliche Argumente in Bezug auf die Erwägungen des Kantonsgerichts vorzutragen, beschränken sich die Beklagten vornehmlich auf die eigene Darstellung zu Sachverhalts- und Rechtsfragen. Auf die Berufung ist daher von vornherein nur insoweit einzutreten, als sie sich nicht in unzulässiger Kritik an der vorinstanzlichen Beweiswürdigung (<ref-ruling> E. 2b) erschöpft und ihr zumindest sinngemäss zu entnehmen ist, aus welchen Gründen und unter welchen Gesichtspunkten bestimmte Feststellungen oder Erwägungen des angefochtenen Urteils Bundesrecht verletzen sollen.
b) So ist auf die Ausführungen der Beklagten zur Frage eines Schadens gemäss dem negativen Vertragsinteresse von vornherein nicht einzutreten, da nicht ersichtlich ist, worin das Kantonsgericht Bundesrecht verletzt haben soll.
Dieses hielt in tatsächlicher Hinsicht fest, dass die Beklagten weder das Vorliegen eines Schadens bezüglich angeblich vermeidbarer Kapitalkosten noch die ziffernmässige Höhe der Einbusse substanziiert behauptet, geschweige denn bewiesen hätten. Abgesehen davon könne auch nicht von einem ziffernmässig nicht nachweisbaren Schaden gemäss Art. 42 Abs. 2 OR ausgegangen werden, da auch hier Anzeichen vorliegen müssten, die den annähernd sicheren Eintritt eines Schadens nahelegen (<ref-ruling> E. 3a; Brehm, Berner Kommentar, N 52 zu Art. 42 OR; Schnyder, Basler Kommentar, 2. Aufl.
1996, N 11 zu Art. 42 OR). Die Beklagten hätten aber bei der Vermittlung eines Käufers für die betreffenden Stockwerkeinheiten an die Firma G._ gemäss Vereinbarung vom 12./15. Oktober 1990 selbst eine Provision von 2,5% des erzielten Verkaufspreises erhalten und mithin auch vor dem Dahinfallen dieses Vertrages genügend Anreiz und Interesse am Verkauf dieser Wohnungen an Dritte gehabt. Somit lasse sich die Annahme, die Beklagten hätten die Wohnungen ohne den dahingefallenen Vertrag mit der Firma G._ anderweitig verkaufen können, nicht mit der erforderlichen Wahrscheinlichkeit rechtfertigen. Der geltend gemachte Schaden für Kapitalkosten drängt sich daher nicht mit überwiegender Überzeugungskraft gemäss Art. 42 Abs. 2 OR auf. Die entsprechenden Ausführungen der Beklagten münden ausschliesslich in unzulässiger Kritik an der Beweiswürdigung des Kantonsgerichts.
2.- a) Im Berufungsverfahren ist das Bundesgericht an die tatsächlichen Feststellungen der letzten kantonalen Instanz gebunden, wenn sie nicht offensichtlich auf Versehen beruhen, unter Verletzung bundesrechtlicher Beweisvorschriften zustande gekommen (Art. 63 Abs. 2 OG) oder zu ergänzen sind (Art. 64 OG). Werden solche Ausnahmen geltend gemacht, so hat die Partei, die den Sachverhalt berichtigt oder ergänzt wissen will, darüber genaue Angaben mit Aktenhinweisen zu machen (Art. 55 Abs. 1 lit. d OG). Eine Ergänzung setzt zudem voraus, dass entsprechende Sachbehauptungen bereits im kantonalen Verfahren prozesskonform aufgestellt, von der Vorinstanz aber zu Unrecht für unerheblich gehalten oder übersehen worden sind, was wiederum näher anzugeben ist; andernfalls gelten die Vorbringen als neu und damit als unzulässig (Art. 55 Abs. 1 lit. c OG; <ref-ruling> E. 2b mit Hinweisen).
b) Nicht einzutreten ist auf die Berufung, soweit darin den tatsächlichen Feststellungen des Kantonsgerichts widersprochen wird, ohne dass zugleich substanziierte Rügen im Sinne der genannten Ausnahmen erhoben werden (Art. 55 Abs. 1 lit. c OG). Unzulässig sind daher insbesondere die Vorbringen der Beklagten, das Kantonsgericht habe die Pflicht der Firma G._ zur etappenweisen Übernahme der Kreditzinsen und -kommissionen sowie die Anerkennung gewisser Beträge im Rahmen des Nachtrags vom 27. Juni 1991 nicht berücksichtigt.
3.- Die Beklagten bringen im Wesentlichen vor, das Kantonsgericht habe Bundesrecht verletzt, indem es die Sachlegitimation des Klägers zu Unrecht bejahte. Diesem hätten die eingeklagten Forderungen nicht gültig abgetreten werden können, da es dazu der Zustimmung der Beklagten bedurft hätte, so dass sinngemäss die Voraussetzungen von Art. 164 Abs. 1 OR in Verbindung mit Art. 109 OR bundesrechtswidrig bejaht worden seien.
a) Das Kantonsgericht ging in seinem Urteil vom 13. März 2000 auf diese neuerlichen Einwände der Beklagten nicht mehr ein, sondern verwies auf seine Erwägungen im Urteil vom 16. Dezember 1997, in welchem es die Frage der mangelnden Sachlegitimation bereits behandelt und verworfen hatte. In diesem Urteil hielt das Kantonsgericht zu Recht fest, dass die Rückabwicklung des Vertrages vom 12./15. Oktober 1990 sich nach Art. 109 OR richtet. Dabei wird das bisherige Schuldverhältnis durch den Rücktritt des Gläubigers wegen Schuldnerverzugs nicht aufgelöst, sondern inhaltlich in ein Abwicklungs- oder Liquidationsverhältnis umgewandelt (<ref-ruling> E. 2c aa und 2d). Der Sinn dieser Regelung in Art. 109 OR besteht darin, durch die gegenseitigen Rückerstattungspflichten im Ergebnis den vorvertraglichen Zustand wiederherzustellen.
Nach Prüfung sämtlicher Voraussetzungen bejahte das Kantonsgericht das Vorliegen einer gültigen schriftlichen Abtretungserklärung gemäss Art. 164 ff. OR, da weder in der Person des Gläubigers noch in der Natur der abgetretenen Forderungen ein gesetzliches oder vertragliches Zessionsverbot gegeben sei. Durch die Tatsache, dass lediglich sämtliche Rückerstattungsansprüche der Firma G._ aus dem genannten Vertragsverhältnis an den Kläger abgetreten worden sind, werde weder die Rechtsnatur des Liquidationsverhältnisses geändert, noch die Stellung der Beklagten erschwert, da diese gemäss Art. 169 OR sämtliche Einreden und Einwendungen, die den Forderungen der Firma G._ als Zedentin entgegen standen, auch gegenüber dem Kläger als Zessionar geltend machen könnten.
b) Die Beklagten verkennen mit ihrer erneut vorgebrachten Auffassung sowohl die Tragweite des vertraglichen Rückabwicklungsverhältnisses nach Art. 109 OR als auch die Voraussetzungen und Rechtswirkungen einer Forderungsabtretung, wenn sie im vorliegenden Fall ihre Zustimmung als erforderlich erachten. Weshalb der Kläger nur das gesamte Vertragsverhältnis zwischen der Firma G._ und den Beklagten mit allen Rechten und Pflichten hätte übernehmen können, legen sie nicht dar. Es ist nicht ersichtlich, auf welche Regel sie sich stützen, wenn sie meinen, die Firma G._ sei mit dem Rücktritt in ein Netz tiefgreifender Rückabwicklungsmodalitäten verbunden gewesen und nach <ref-ruling> seien nur die gegenseitigen Forderungen und Pflichten zusammen übertragbar, da nur so der vorvertragliche Zustand wiederherzustellen sei. Träfe dies zu, so wäre in der Tat die Zustimmung der Beklagten für diesen Fall eines Schuldnerwechsels Gültigkeitsvoraussetzung. Dieser Schluss ist aus dem genannten Entscheid des Bundesgerichts offensichtlich nicht zu ziehen. Das vertragliche Rückabwicklungsverhältnis nach Art. 109 OR setzt keinerlei Mitwirkungspflichten voraus, wie sie etwa bei der Liquidation von Gesellschaftsverhältnissen vorkommen können. Ob den Beklagten in ihrer aktuellen Situation die ursprüngliche Vertragspartnerin, die Firma G._, gegenübersteht oder ein Zessionar, ändert nichts an Bestand, Umfang und Durchsetzbarkeit ihrer eigenen (Rückerstattungs-)Ansprüche. Durch die Tatsache der Forderungsabtretung wird die Stellung der Beklagten in keiner Weise verschlechtert. Sie haben wie in allen Fällen der Abtretung von Forderungen aus einem synallagmatischen Vertrag die Möglichkeit, ihre Ansprüche gegenüber ihrer Vertragspartnerin entweder direkt einzufordern oder einredeweise gegenüber dem Zessionar (Kläger) gemäss Art. 169 OR zur Verrechnung zu bringen und damit zu tilgen.
Indem das Kantonsgericht Gegenforderungen der Beklagten im Umfang von Fr. 40'000.-- zur Verrechnung zuliess, die übrigen aber - so insbesondere Schadenersatzforderungen - mangels genügender Substanziierung als nicht nachgewiesen abwies, hat es die Gegenansprüche der Beklagten beurteilt ohne dabei Bundesrecht zu verletzen.
4.- Der Firma G._ wurde am 5. Dezember 1994 die Nachlassstundung bewilligt. Daraus leiten die Beklagten eine Verletzung von Art. 299 in Verbindung mit Art. 260 SchKG durch das Kantonsgericht ab, da die Forderungen der Firma G._ aus dem Rückabwicklungsverhältnis durch den Sachwalter hätten inventarisiert werden müssen und später nicht ohne Zustimmung der Gläubigerversammlung oder des Nachlassrichters hätten abgetreten werden dürfen. Dem Kläger fehle auch aus diesem Grund die Sachlegitimation.
Nach den tatsächlichen Feststellungen des Kantonsgerichts wurden die Rückerstattungsforderungen der Firma G._ am 10. Dezember 1993 an den Kläger abgetreten.
Zuvor, am 16. August 1993, hatten die Beklagten den Rücktritt vom Vertrag vom 12./15. Oktober 1990 samt Nachtrag erklärt. Am 5. Dezember 1994 wurde der Firma G._ die Nachlassstundung gewährt. Am 24. Februar 1995 wurde den Beklagten die Forderungsabtretung notifiziert. Die Rückerstattungsforderungen waren im Zeitpunkt der Bewilligung der Nachlassstundung bereits seit fast einem Jahr gültig auf den Kläger übertragen worden, wodurch sie nicht mehr zum Vermögen der Firma G._ zu zählen waren. Worin damit Art. 299 und Art. 260 SchKG verletzt sein sollen, ist unerfindlich.
Immerhin sei in Bestätigung des kantonsgerichtlichen Zwischenentscheids vom 16. Dezember 1997 wiederholt, dass weder der Umstand noch der Zeitpunkt der Notifikation einer Abtretung einen Einfluss auf deren Gültigkeit als für den Schuldner nicht zustimmungsbedürftigen Vertrag zwischen Zedent und Zessionar haben. Der schwachen Rechtsstellung des gutgläubigen Schuldners kommt hierbei immerhin die Bestimmung von Art. 167 OR entgegen, indem er trotz Leistung an den ursprünglichen Gläubiger gültig befreit wird, wenn die Abtretung ihm zuvor noch nicht bekannt gegeben worden ist (Girsberger, Basler Kommentar, 2. Aufl. 1996, N 1 f. zu Art. 167 OR; Gauch/Schluep/Schmid/Rey, Schweizerisches Obligationenrecht Allgemeiner Teil, 7. Aufl. 1998, Rz 3615 ff.). Die Bewilligung der Nachlassstundung über die Firma G._ berührt die Frage der Gültigkeit der zuvor erfolgten Abtretung an den Kläger - unter Vorbehalt einer paulianischen Anfechtung gemäss Art. 286 ff. SchKG - nicht.
Daher kann offen gelassen werden, ob die Feststellung des Kantonsgerichts in seinem Zwischenentscheid vom 16. Dezember 1997, wonach die Notifikation an die Beklagten erst nach Bewilligung der Nachlassstundung erfolgt sei, als offensichtliches Versehen im Sinne von Art. 63 Abs. 2 OG zu qualifizieren ist, wie dies der Kläger in der Berufungsantwort dartut. Die Berufung erweist sich in diesem Punkt als unbegründet.
5.- Die Beklagten wiederholen ihren bereits vor dem Kantonsgericht erhobenen Vorwurf, das Rechtsverhältnis zwischen der Baugesellschaft X._ und der Firma G._ sei den Regeln der einfachen Gesellschaft zu unterstellen, wodurch eine Liquidation nicht nach Art. 109, sondern nach Art. 548 f. OR hätte erfolgen müssen. Danach könnte der Kläger das Eingebrachte nicht zurückfordern, sondern hätte lediglich einen allfälligen Anspruch auf den Überschuss.
Indem das Kantonsgericht aufgrund seiner für das Bundesgericht verbindlichen tatsächlichen Feststellungen das Vorliegen eines gemeinsamen Willens der Kontrahenten auf die Verwirklichung eines gemeinsamen Zwecks mit vereinten Mitteln und damit eine einfache Gesellschaft ausschloss, hat es Bundesrecht nicht verletzt. In der strittigen vertraglichen Bindung sind denn auch keinerlei Anhaltspunkte für ein Gesellschaftsverhältnis ersichtlich. Gewisse Nebenpflichten - so etwa die in der Berufungsschrift behauptete teilweise Übernahme von Baukosten -, welche einzeln betrachtet auf ein Gesellschaftsverhältnis hinweisen mögen, können durchaus auch in einem auf Austausch von Leistungen gerichteten Vertrag vorkommen. Zwischen den Beklagten und der Firma G._ ist daher nach zutreffender Auffassung des Kantonsgerichts ein reiner Austauschvertrag zu Stande gekommen, in welchem die Firma G._ gegen Geld Stockwerkeinheiten zum Weiterverkauf erworben hatte.
6.- Schliesslich bringen die Beklagten an mehreren Stellen ihrer Berufungsschrift vor, das Kantonsgericht habe sinngemäss ihre Einrede des nichterfüllten Vertrages gemäss Art. 82 OR bei der Rückabwicklung übergangen und damit Bundesrecht verletzt. Der Kläger sei nur dann klageberechtigt, wenn er seinen Verpflichtungen nachgekommen sei bzw. die entsprechenden Leistungen angeboten habe, wovon vorliegend keine Rede sein könne.
Die Beklagten legen nicht dar, dass sie diese Einrede rechtzeitig und prozesskonform im kantonalen Verfahren erhoben haben. Ohne diesen Nachweis genügt die Berufung der Beklagten den Begründungsanforderungen gemäss Art. 55 Abs. 1 lit. c OG nicht, denn die Einrede des nichterfüllten Vertrages nach Art. 82 OR ist nicht von Amtes wegen zu berücksichtigen (<ref-ruling> E. 2b; <ref-ruling> E. 3). Auf die Berufung ist folglich auch in diesem Punkt nicht einzutreten.
7.- Die Berufung ist abzuweisen, soweit darauf einzutreten ist und das angefochtene Urteil zu bestätigen. Dem Verfahrensausgang entsprechend haben die Beklagten die Gerichtsgebühr zu bezahlen und dem Kläger die Parteikosten zu ersetzen.

Demnach erkennt das Bundesgericht:
1.- Die Berufung wird abgewiesen, soweit darauf einzutreten ist, und das Urteil des Kantonsgerichts von Graubünden (Zivilkammer) vom 13. März 2000 wird bestätigt.
2.-Die Gerichtsgebühr von Fr. 13'000.-- wird den Beklagten unter solidarischer Haftbarkeit auferlegt.
3.-Die Beklagten haben den Kläger für das bundesgerichtliche Verfahren mit Fr. 15'000.-- zu entschädigen, unter solidarischer Haftbarkeit.
4.- Dieser Urteil wird den Parteien und dem Kantonsgericht von Graubünden (Zivilkammer) schriftlich mitgeteilt.
_
Lausanne, 8. Februar 2001
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: