Kaufvertrag, Rücktritt, Abtretung, hat sich ergeben: A.- a) Mit Kaufvertrag vom 15. Dezember 1988 und Nachtrag vom 24. Februar 1989 erwarben A._, B._, C._ und D._ (nachfolgend: die Beklagten) die Parzellen Nrn. 1.. und 2.. des Grundbuches der Gemeinde F._ und traten in der Folge als Baugesellschaft X._ auf. Am 26. März 1990 begründeten sie als Miteigentümer der Liegenschaft an dem zu erstellenden Mehrfamilienhaus mit 13 Wohnungen Stockwerkeigentum. b) Am 12./15. Oktober 1990 schlossen die Beklagten im Namen der Baugesellschaft X._ mit der Firma G._ + Cie einen öffentlich beurkundeten Vertrag, worin diese sich verpflichtete, insgesamt sieben Stockwerkeinheiten und acht Autoeinstellplätze in dem von der Baugesellschaft X._ zu errichtenden Mehrfamilienhaus zu einem festen Preis zum Weiterverkauf zu übernehmen. Die Parteien verzichteten darauf, Handänderungen an die Firma G._ grundbuchlich auszuweisen, um einerseits Kosten zu sparen und andererseits die Sperrfrist für die Veräusserung von nichtlandwirtschaftlichen Grundstücken zu umgehen. Die Firma G._ war indes allein berechtigt, über die fraglichen Stockwerkeinheiten zu verfügen, wobei eine allfällige Differenz zwischen dem von ihr gegenüber dem jeweiligen Käufer erzielten und dem mit den Beklagten vereinbarten Übernahmepreis zu ihren Lasten bzw. zu ihren Gunsten ausfiel. Sollte die Firma G._ bis zum 30. Juni 1991 einzelne der fraglichen Stockwerkeinheiten noch nicht verkauft haben, war sie verpflichtet, diese zum festgesetzten Preis zu Eigentum zu übernehmen. Diese Frist wurde in einem Nachtrag zu diesem Vertrag am 27. Juni 1991 bis zum 30. Juni 1992 verlängert. c) Am 16. August 1993 traten die Beklagten vom Vertrag zurück. Bis zu jenem Zeitpunkt waren drei der insgesamt sieben von der Firma G._ übernommenen Wohnungen verkauft. B.- a) Am 28. April 1994 belangte E._ (Kläger), der sich bereits am 6. Dezember 1990 als stiller Teilhaber der Firma G._ zu 50% am Vertrag zwischen dieser und der Baugesellschaft X._ vom 12./15. Oktober 1990 beteiligt hatte, als Zessionar der Firma G._ die Beklagten auf Rückerstattung geleisteter Zahlungen von insgesamt Fr. 1'455'546.-- nebst Zins. Die Hauptforderung reduzierte er im Lauf des Verfahrens auf Fr. 1'370'150. 95. Mit Urteil vom 17. Oktober 1996 wies das Bezirksgericht Oberlandquart die Klage ab. Es erwog, der Vertrag zwischen den Beklagten und der Firma G._ sei wegen Verstosses gegen den Bundesbeschluss über die Sperrfrist für die Veräusserung nichtlandwirtschaftlicher Grundstücke nichtig gewesen und die Rückforderung der gestützt darauf geleisteten Zahlungen scheitere an Art. 66 OR. b) Auf Berufung des Klägers hob das Kantonsgericht von Graubünden (Zivilkammer) dieses Urteil am 16. Dezember 1997 auf. Es verneinte die Vertragsnichtigkeit und verwarf den Einwand der Beklagten, dem Kläger fehle die Sachlegitimation aufgrund ungültiger Forderungszessionen. Die Streitsache wies es zur materiellen Behandlung der eingeklagten Forderungen an das Bezirksgericht zurück. c) Auf eine gegen diesen Entscheid erhobene eidgenössische Berufung der Beklagten trat das Bundesgericht mit Urteil vom 17. Juni 1998 nicht ein, da nicht ersichtlich war, weshalb sich eine ausnahmsweise Anhandnahme der Berufung gegen den materiellen Zwischenentscheid aus Gründen erheblicher Prozessökonomie rechtfertigte. d) Mit Urteil vom 3. Dezember 1998 verpflichtete das Bezirksgericht Oberlandquart die Beklagten unter solidarischer Haftbarkeit zur Zahlung von Fr. 1'029'523. 80 zuzüglich Zins an den Kläger. e) Gegen diesen Entscheid gelangten die Beklagten mit Berufung und der Kläger mit Anschlussberufung an das Kantonsgericht von Graubünden, welches beide Rechtsmittel teilweise guthiess und die Beklagten unter solidarischer Haftbarkeit zur Zahlung von Fr. 1'194'226. 80 zuzüglich Zins zu 5% auf Fr. 1'000'000.-- seit 3. Juli 1991, auf Fr. 65'000.-- seit 11. März 1992, auf Fr. 65'000.-- seit 18. März 1992 und auf Fr. 64'226. 80 seit 17. Dezember 1992 an den Kläger verpflichtete. C.- Die Beklagten führen eidgenössische Berufung mit dem Antrag, das kantonsgerichtliche Urteil aufzuheben und die Klage abzuweisen. Der Kläger schliesst auf Abweisung der Berufung, soweit darauf einzutreten ist.