Sachverhalt: A. Nach dem Tode ihres Vaters, F._, kauften die beiden Töchter, G.I._ und C.A._, von der F._ Familienstiftung mit Sitz in Vaduz mit Vertrag vom 25. März 1982 das Grundstück J._ GB Nr. x (K._) im Halte von 51'134 m2 und einem amtlichen Schätzwert von Fr. 2'481'000.-- zum Preis von Fr. 1'246'100.-- zu Gesamteigentum. Auf diesem direkt am See gelegenen Areal befanden sich seit 1967 ein Wohnwagenpark für Dauermieter mit zugehörigen Bauten (unter anderem Toiletten- und Duschenpavillons, Schwimmbad) sowie weitere Wohnliegenschaften, Gärtnerhäuser, ein Freizeitgebäude und ein Garagentrakt. Auf dem Wohnwagenpark waren gegen 70 Wohnmobile aufgrund langfristiger Mietverträge dauerhaft stationiert. In einem der Wohnhäuser logierte ein ganzjährig angestellter Verwalter, der sich hauptsächlich mit der Garten- und Waldpflege sowie mit der Schwimmbadwartung befasste. Bei Bedarf wurden weitere Aushilfen beschäftigt, wogegen das Inkasso der Mietzinsen sowie die administrativen Arbeiten ein Treuhandbüro besorgte. Mit Vertrag vom 12. Dezember 1997 verkauften die beiden Gesamteigentümerinnen den Grossteil dieses Komplexes, nämlich 47'916 m2 (mit amtlicher Schätzung von Fr. 1'809'000.--), für Fr. 9'000'000.-- der Gemeinde J._. Im Einzelnen handelt es sich bei den Kaufs- und Verkaufsobjekten um: Kauf 1982 Verkauf 1997 Schätzwert 1981 Schätzwert 1981 Fr. Schätzwert 1989 Fr. Schätzwert 1989 Fr. Eingangsportal Vers. Nr. 136 4'000.-- Wohnhaus Vers. Nr. 137 94'000.-- Kleines Portal Vers. Nr. 139 1'000.-- Pavillon Vers. Nr. 141 14'000.-- Pavillon Vers. Nr. 141 15'000.-- Freizeitgebäude Vers. Nr. 144 78'000.-- Freizeitgebäude Vers. Nr. 144 48'000.-- Gärtnerwohnhaus Vers. Nr. 145 112'000.-- Gärtnerwohnhaus Vers. Nr. 145 135'000.-- Gärtnerwohnhaus Vers. Nr. 148 166'000.-- Scheune/Garagen Vers. Nr. 152 85'000.-- Scheune/Garagen Vers. Nr. 152 75'000.-- Öltankgebäude Vers. Nr. 441 9'000.-- Öltankgebäude Vers. Nr. 441 - Wohnhaus (Chalet) Vers. Nr.443 175'000.-- Toilettenpavillons 1-4 360'000.-- Toilettenpavillons 1-4 380'000.-- Parkanlagen/Schwimmbad 980'000.-- Parkanlage/Schwimmbad 1'015'000.-- Gebäudegrundfläche/Hofraum 400'000.-- Gebäudegrundfläche/Hofraum 136'000.-- Strandgebiet 3'000.-- Strandgebiet 5'000.-- Total 2'481'000.-- Total 1'809'000.-- Preis 1982 1'246'100.-- Preis 1997 9'000'000.-- Im Gesamteigentum behielten die beiden Schwestern die anlässlich des Verkaufs abparzellierten beiden Grundstücke J._ GB Nr. y (Gärtnerwohnhaus im Halte von 671 m2) sowie J._ GB Nr. z (Wohnhaus [Chalet] mit Eingangsportal sowie Mehrfamilienhaus [Nr. 951, das anstelle des abgebrochenen Gebäudes Nr. 137 sowie des Portals Nr. 139 entstanden war], im Halte von 2'528 m2; die Differenz von 19 m2 gegenüber der Quadratmeterzahl beim Erwerb resultiert aus einer Neuvermessung im Jahre 1994). B. In der Veranlagungsperiode 1997/98 deklarierten B.A._ und C.A._ für die direkte Bundessteuer ein steuerbares Einkommen von Fr. 803'900.--, und am 1. Juni 1999 wurden sie entsprechend ihrer Selbstschätzung veranlagt. Darin sind auch die Nettoerträge aus der einfachen Gesellschaft K._ enthalten, freilich nicht unter dem Titel "Einkünfte aus selbständiger Erwerbstätigkeit". Diese Veranlagung blieb unangefochten und erwuchs in Rechtskraft. C. Am 10. Mai 2001 bzw. am 20. Dezember 2001 unterbreitete der Steuerkommissär B.A._ und C.A._ einen Veranlagungsvorschlag für eine Sonderveranlagung bei der direkten Bundessteuer 1997/98 im Zusammenhang mit einer Zwischenveranlagung wegen Aufgabe der selbständigen Erwerbstätigkeit per Ende 1997. B.A._ und C.A._ akzeptierten diese Vorschläge nicht, aber am 17. Mai 2006 nahm ein neuer Steuerkommissär eine Zwischenveranlagung ab 1. Januar 1998 vor und veranlagte sie für den Rest der Veranlagungsperiode 1997/98 mit einem steuerbaren Einkommen von Fr. 908'600.-- sowie für eine Sondersteuer 1997 gemäss Art. 47 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.11) von Fr. 4'066'000.--. Auf Einsprache hin wurde der steuerbare Kapital- bzw. Überführungsgewinn mit Entscheid vom 21. Mai 2007 auf Fr. 4'494'900.-- erhöht. D. Eine dagegen erhobene Beschwerde hiess die Steuerrekurskommission II des Kantons Zürich am 12. November 2007 insoweit teilweise gut, als sie den 1997 steuerbaren Kapital- bzw. Überführungsgewinn auf Fr. 4'406'300.-- herabsetzte, aber die Zwischenveranlagung schützte. Die Steuerrekurskommission II des Kantons Zürich ging davon aus, dass es sich bei den ab 1982 bezogenen Einkünften an sich um Einkommen aus unbeweglichem Vermögen gehandelt habe. Die Gesamteigentümerinnen hätten das Land jedoch als Geschäftsvermögen übernommen, und von einer Abrechnung über die stillen Reserven sei nur dank einer Verständigung mit den Steuerbehörden des Kantons St. Gallen abgesehen worden. Darin wurde zuhanden der Familienstiftung als Voreigentümerin bestätigt, dass "Camping und Gärtnerei K._ J._" auf die "buchführungspflichtige einfache Gesellschaft" zu Gesamteigentum erfolge und der verbindliche steuerliche Buchwert Fr. 1'246'100.-- betrage. Daran seien die damaligen Erwerberinnen nunmehr zu behaften, d.h. sie hätten aus diesem Grunde Geschäftsvermögen veräussert; der Aufgabe der bezüglichen selbständigen Erwerbstätigkeit sei mittels Zwischenveranlagung Rechnung zu tragen, und der in der Bemessungslücke angefallene Kapital- bzw. Überführungsgewinn sei gesondert steuerlich zu erfassen. E. Gegen dieses Urteil der Steuerrekurskommission II des Kantons Zürich vom 12. November 2007 (versandt am 21. Dezember 2007) erheben die Erben des B.A._, nämlich C.A._, D._ und E._, mit Eingabe vom 1. Februar 2008 Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Sie beantragen, das Urteil der Steuerrekurskommission II des Kantons Zürich vom 12. November 2007 sei aufzuheben und es sei festzustellen, dass keine Zwischenveranlagung vorzunehmen sei und kein Kapital- bzw. Überführungsgewinn besteuert werden könne. Sie rügen eine unvollständige Feststellung des Sachverhalts, indem sie weitere Beweismittel vorlegen, sowie eine Verletzung von Bundesrecht. Das Kantonale Steueramt Zürich sowie die Steuerrekurskommission II des Kantons Zürich schliessen auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Die Eidgenössische Steuerverwaltung (Hauptabteilung Direkte Bundessteuer, Verrechnungssteuer, Stempelabgaben) hat darauf verzichtet, einen Antrag zu stellen und sich zur Sache vernehmen zu lassen.