Sachverhalt:
A. Nach dem Tode ihres Vaters, F._, kauften die beiden Töchter, G.I._ und C.A._, von der F._ Familienstiftung mit Sitz in Vaduz mit Vertrag vom 25. März 1982 das Grundstück J._ GB Nr. x (K._) im Halte von 51'134 m2 und einem amtlichen Schätzwert von Fr. 2'481'000.-- zum Preis von Fr. 1'246'100.-- zu Gesamteigentum. Auf diesem direkt am See gelegenen Areal befanden sich seit 1967 ein Wohnwagenpark für Dauermieter mit zugehörigen Bauten (unter anderem Toiletten- und Duschenpavillons, Schwimmbad) sowie weitere Wohnliegenschaften, Gärtnerhäuser, ein Freizeitgebäude und ein Garagentrakt. Auf dem Wohnwagenpark waren gegen 70 Wohnmobile aufgrund langfristiger Mietverträge dauerhaft stationiert. In einem der Wohnhäuser logierte ein ganzjährig angestellter Verwalter, der sich hauptsächlich mit der Garten- und Waldpflege sowie mit der Schwimmbadwartung befasste. Bei Bedarf wurden weitere Aushilfen beschäftigt, wogegen das Inkasso der Mietzinsen sowie die administrativen Arbeiten ein Treuhandbüro besorgte.
Mit Vertrag vom 12. Dezember 1997 verkauften die beiden Gesamteigentümerinnen den Grossteil dieses Komplexes, nämlich 47'916 m2 (mit amtlicher Schätzung von Fr. 1'809'000.--), für Fr. 9'000'000.-- der Gemeinde J._. Im Einzelnen handelt es sich bei den Kaufs- und Verkaufsobjekten um:
Kauf 1982
Verkauf 1997
Schätzwert 1981
Schätzwert 1981
Fr. Schätzwert 1989
Fr. Schätzwert 1989
Fr. Eingangsportal Vers. Nr. 136
4'000.--
Wohnhaus Vers. Nr. 137
94'000.--
Kleines Portal Vers. Nr. 139
1'000.--
Pavillon Vers. Nr. 141
14'000.--
Pavillon Vers. Nr. 141
15'000.--
Freizeitgebäude Vers. Nr. 144
78'000.--
Freizeitgebäude Vers. Nr. 144
48'000.--
Gärtnerwohnhaus Vers. Nr. 145
112'000.--
Gärtnerwohnhaus Vers. Nr. 145
135'000.--
Gärtnerwohnhaus Vers. Nr. 148
166'000.--
Scheune/Garagen Vers. Nr. 152
85'000.--
Scheune/Garagen Vers. Nr. 152
75'000.--
Öltankgebäude Vers. Nr. 441
9'000.--
Öltankgebäude Vers. Nr. 441
-
Wohnhaus (Chalet) Vers. Nr.443
175'000.--
Toilettenpavillons 1-4
360'000.--
Toilettenpavillons 1-4
380'000.--
Parkanlagen/Schwimmbad
980'000.--
Parkanlage/Schwimmbad
1'015'000.--
Gebäudegrundfläche/Hofraum
400'000.--
Gebäudegrundfläche/Hofraum
136'000.--
Strandgebiet
3'000.--
Strandgebiet
5'000.--
Total
2'481'000.--
Total
1'809'000.--
Preis 1982
1'246'100.--
Preis 1997
9'000'000.--
Im Gesamteigentum behielten die beiden Schwestern die anlässlich des Verkaufs abparzellierten beiden Grundstücke J._ GB Nr. y (Gärtnerwohnhaus im Halte von 671 m2) sowie J._ GB Nr. z (Wohnhaus [Chalet] mit Eingangsportal sowie Mehrfamilienhaus [Nr. 951, das anstelle des abgebrochenen Gebäudes Nr. 137 sowie des Portals Nr. 139 entstanden war], im Halte von 2'528 m2; die Differenz von 19 m2 gegenüber der Quadratmeterzahl beim Erwerb resultiert aus einer Neuvermessung im Jahre 1994).
B. In der Veranlagungsperiode 1997/98 deklarierten B.A._ und C.A._ für die direkte Bundessteuer ein steuerbares Einkommen von Fr. 803'900.--, und am 1. Juni 1999 wurden sie entsprechend ihrer Selbstschätzung veranlagt. Darin sind auch die Nettoerträge aus der einfachen Gesellschaft K._ enthalten, freilich nicht unter dem Titel "Einkünfte aus selbständiger Erwerbstätigkeit". Diese Veranlagung blieb unangefochten und erwuchs in Rechtskraft.
C. Am 10. Mai 2001 bzw. am 20. Dezember 2001 unterbreitete der Steuerkommissär B.A._ und C.A._ einen Veranlagungsvorschlag für eine Sonderveranlagung bei der direkten Bundessteuer 1997/98 im Zusammenhang mit einer Zwischenveranlagung wegen Aufgabe der selbständigen Erwerbstätigkeit per Ende 1997. B.A._ und C.A._ akzeptierten diese Vorschläge nicht, aber am 17. Mai 2006 nahm ein neuer Steuerkommissär eine Zwischenveranlagung ab 1. Januar 1998 vor und veranlagte sie für den Rest der Veranlagungsperiode 1997/98 mit einem steuerbaren Einkommen von Fr. 908'600.-- sowie für eine Sondersteuer 1997 gemäss Art. 47 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.11) von Fr. 4'066'000.--. Auf Einsprache hin wurde der steuerbare Kapital- bzw. Überführungsgewinn mit Entscheid vom 21. Mai 2007 auf Fr. 4'494'900.-- erhöht.
D. Eine dagegen erhobene Beschwerde hiess die Steuerrekurskommission II des Kantons Zürich am 12. November 2007 insoweit teilweise gut, als sie den 1997 steuerbaren Kapital- bzw. Überführungsgewinn auf Fr. 4'406'300.-- herabsetzte, aber die Zwischenveranlagung schützte. Die Steuerrekurskommission II des Kantons Zürich ging davon aus, dass es sich bei den ab 1982 bezogenen Einkünften an sich um Einkommen aus unbeweglichem Vermögen gehandelt habe. Die Gesamteigentümerinnen hätten das Land jedoch als Geschäftsvermögen übernommen, und von einer Abrechnung über die stillen Reserven sei nur dank einer Verständigung mit den Steuerbehörden des Kantons St. Gallen abgesehen worden. Darin wurde zuhanden der Familienstiftung als Voreigentümerin bestätigt, dass "Camping und Gärtnerei K._ J._" auf die "buchführungspflichtige einfache Gesellschaft" zu Gesamteigentum erfolge und der verbindliche steuerliche Buchwert Fr. 1'246'100.-- betrage. Daran seien die damaligen Erwerberinnen nunmehr zu behaften, d.h. sie hätten aus diesem Grunde Geschäftsvermögen veräussert; der Aufgabe der bezüglichen selbständigen Erwerbstätigkeit sei mittels Zwischenveranlagung Rechnung zu tragen, und der in der Bemessungslücke angefallene Kapital- bzw. Überführungsgewinn sei gesondert steuerlich zu erfassen.
E. Gegen dieses Urteil der Steuerrekurskommission II des Kantons Zürich vom 12. November 2007 (versandt am 21. Dezember 2007) erheben die Erben des B.A._, nämlich C.A._, D._ und E._, mit Eingabe vom 1. Februar 2008 Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Sie beantragen, das Urteil der Steuerrekurskommission II des Kantons Zürich vom 12. November 2007 sei aufzuheben und es sei festzustellen, dass keine Zwischenveranlagung vorzunehmen sei und kein Kapital- bzw. Überführungsgewinn besteuert werden könne. Sie rügen eine unvollständige Feststellung des Sachverhalts, indem sie weitere Beweismittel vorlegen, sowie eine Verletzung von Bundesrecht.
Das Kantonale Steueramt Zürich sowie die Steuerrekurskommission II des Kantons Zürich schliessen auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Die Eidgenössische Steuerverwaltung (Hauptabteilung Direkte Bundessteuer, Verrechnungssteuer, Stempelabgaben) hat darauf verzichtet, einen Antrag zu stellen und sich zur Sache vernehmen zu lassen.

Erwägungen:
1. 1.1 Der Entscheid der Steuerrekurskommission II des Kantons Zürich betrifft die direkte Bundessteuer 1997/98. Es handelt sich um ein letztinstanzliches, auf öffentliches Recht gestütztes Urteil, das mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht angefochten werden kann (Art. 82 ff. BGG in Verbindung mit Art. 146 DBG, in der Fassung gemäss Anhang Nr. 57 des Bundesgesetzes vom 17. Juni 2005 über das Bundesverwaltungsgericht [VGG; SR 173.32; vgl. AS 2006 2257]). Eine Ausnahme gemäss Art. 83 BGG liegt nicht vor. Die sich nach der bundesgerichtlichen Rechtsprechung aus der Steuerharmonisierung ergebende Verpflichtung der Kantone, für Beschwerden betreffend die direkte Bundessteuer eine zweite kantonale Gerichtsinstanz vorzusehen, wenn - wie dies im Kanton Zürich der Fall ist - für die kantonalen Steuern ein zweifacher kantonaler Instanzenzug besteht (vgl. <ref-ruling> E. 6 S. 75 ff.), kommt im vorliegenden Fall noch nicht zur Anwendung; die Frist von acht Jahren, die den Kantonen gemäss Art. 72 des Bundesgesetzes vom 14. Dezember 1999 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14) zur Anpassung ihrer Gesetzgebung offen stand, war in der hier in Frage stehenden Steuerperiode 1997/98 noch nicht abgelaufen.
1.2 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Die Beschwerdeführer sind gestützt auf Art. 89 Abs. 1 BGG zur Beschwerde in öffentlich-rechtlichen An-gelegenheiten legitimiert. Auf die frist- und formgerecht eingereichte Beschwerde ist grundsätzlich einzutreten (Art. 100 BGG). Soweit aber die Beschwerdeführer neben einem Sachurteil auch noch diverse Feststellungen beantragen, kann auf die Beschwerde nicht eingetreten werden, weil diesbezüglich kein schutzwürdiges Interesse besteht (vgl. statt vieler <ref-ruling> E. 2c S. 303 f.).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Mit der Beschwerde dürfen neue Tatsachen und Beweismittel nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). Dazu gehören aber nicht Tatsachenbehauptungen oder Beweismittel, welche die Beschwerdeführer im kantonalen Verfahren nicht vorgebracht haben, obwohl sie dazu Anlass gehabt hätten, und deshalb von der Vorinstanz auch nicht berücksichtigt werden konnten. Den Beschwerdeführern musste spätestens seit der Befragung bzw. Referentenaudienz vom 13. Juli 2007 klar sein, dass die nunmehr nachgereichten Unterlagen von Belang sein könnten. Diese hätten bereits vor der Vorinstanz vorgebracht werden können bzw. sollen und sind deshalb aus dem Recht zu weisen.
2. 2.1 Gemäss Art. 120 Abs. 1 DBG verjährt das Recht, eine Steuer zu veranlagen, fünf Jahre nach Ablauf der Steuerperiode, hier ab Ende 1998. Diese Frist gilt auch für die Vornahme von Zwischenveranlagungen nach Art. 45 DBG und damit zusammenhängende Sondersteuern nach Art. 47 DBG (Daniel Schär, Kommentar zum Schweizerischen Steuerrecht [I/2a], Bundesgesetz über die direkte Bundessteuer [DBG], 2. Aufl., Basel 2008, N 24 zu Art. 46 und N 27 zu Art. 47 DBG). Gemäss Art. 120 Abs. 3 DBG beginnt die Verjährung neu mit "jeder auf Feststellung oder Geltendmachung der Steuerforderung gerichteten Amtshandlung, die einem Steuerpflichtigen oder Mithaftenden zur Kenntnis gebracht wird". Jedenfalls mit den im Jahre 2001 unterbreiteten Veranlagungsvorschlägen der Steuerbehörde begann somit die Verjährung neu zu laufen, so dass die Zwischen- und die Sonderveranlagung nicht verjährt sind. Ohnehin noch nicht eingetreten ist die 15-jährige absolute Verjährung nach Art. 120 Abs. 4 DBG.
2.2 Die Beschwerdeführer machen geltend, dass die Sonderveranlagung gemäss Art. 47 DBG nur vorgenommen werden dürfe, wenn ein Nachsteuergrund nach Art. 151 ff. DBG vorliege, da sonst in die Rechtskraft der ordentlichen Veranlagung für die Jahre 1997/98 eingegriffen werde. Tatsächlich wird dies in der Literatur teilweise so vertreten (vgl. etwa Schär, a.a.O., N 25 zu Art. 46). Dem ist aber entgegen zu halten, dass die Zwischenveranlagung in solchen Fällen die Rechtskraft nicht beseitigt, sondern nur zeitlich begrenzt (vgl. Peter Locher, Kommentar zum DBG, Bundesgesetz über die direkte Bundessteuer, I. Teil, Therwil/Basel 2001, N 57 zu Art. 45 DBG). Eine bereits ergangene ordentliche Veranlagung müsste allenfalls revidiert werden (vgl. Marc Bugnon, in: Danielle Yersin/Yves Noël [Hrsg.], Impôt fédéral direct, Basel 2008, N 7 zu Art. 47). Die Beschwerdeführer legen allerdings nicht dar, mit welcher ordentlicher Taxation die streitige Sonderveranlagung in Widerspruch stehen sollte, fiel das fragliche 1997/98 erzielte Einkommen im Kanton Zürich doch grundsätzlich in die Bemessungslücke. Im Übrigen gehen die in den beiden Jahren vor dem Übergang auf die jährliche Gegenwartsbemessung erzielten ausserordentlichen Einkünfte, die unter anderem aufgrund einer Zwischenveranlagung Art. 47 unterstehen, einer Anwendung der Übergangsbestimmung von Art. 218 DBG vor (vgl. Locher, a.a.O., N 26 zu Art. 47 DBG).
2.3 Weder bestätigt der angefochtene Entscheid somit eine verjährte Steuerforderung noch korrigiert er in unzulässiger Weise eine frühere rechtskräftige Veranlagung.
3. 3.1 Der Einkommenssteuer unterliegen alle wiederkehrenden und einmaligen Einkünfte (Art. 16 Abs. 1 DBG). Steuerbar sind gemäss Art. 18 Abs. 1 DBG alle Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf sowie aus jeder anderen selbständigen Erwerbstätigkeit. Unter diesen Begriff fällt allgemein jede Tätigkeit, bei der ein Unternehmer auf eigenes Risiko, unter Einsatz von Arbeit und Kapital, in einer frei gewählten Organisation und mit der Absicht der Gewinnerzielung am Wirtschaftsverkehr teilnimmt. Eine solche Tätigkeit kann haupt- oder nebenberuflich, dauernd oder temporär ausgeübt werden. Ob eine selbständige Erwerbstätigkeit vorliegt, ist stets nach den gesamten Umständen des Einzelfalls zu beurteilen; die einzelnen Begriffsmerkmale dürfen nicht isoliert betrachtet werden und können auch in unterschiedlicher Intensität auftreten. Im Übrigen wird nicht verlangt, dass die steuerpflichtige Person nach aussen sichtbar am Wirtschaftsverkehr teilnimmt bzw. ein selbständiger Marktauftritt vorliegt und ein Unternehmen, Gewerbe oder Geschäft betrieben wird (<ref-ruling> E. 5b S. 120 f.; <ref-ruling> E. 5a S. 452 f.).
3.2 Keine selbständige Erwerbstätigkeit liegt vor, wenn bloss das eigene Vermögen verwaltet wird, insbesondere wenn eigene Liegenschaften vermietet werden. Dies trifft selbst dann zu, wenn das Vermögen umfangreich ist, professionell verwaltet wird und wenn kaufmännische Bücher geführt werden (ASA 74, 737 S. 741 f.). Sogar bei der Vermietung möblierter Wohnungen gelten die Einkünfte trotz der Arbeiten, welche der Eigentümer für die Vermietung erbringen muss, im Wesentlichen als Vermögensertrag und nicht als Ertrag aus selbständiger Erwerbstätigkeit, wenn die Arbeiten dazu dienen, ähnlich wie Unterhaltsarbeiten, den Mietgegenstand zur Erzielung des Ertrages bereitzustellen (Urteile des Bundesgerichts 2P.215/1998 und 2A.317/1998 vom 30. Juni 1999 E. 3c/bb RDAT I-2000, 671 S. 674).
3.3 Nach der Rechtsprechung in Sozialversicherungssachen stellt hingegen die Vermietung möblierter Wohnungen in der Regel Erwerbseinkommen dar (Urteil des Bundesgerichts H 61/85 vom 30. Juni 1987, E. 3a, in RCC 1987, 554 S. 556; <ref-ruling> E. 2-5 S. 83 ff.), wogegen die Vermietung von unmöblierten Wohnungen eines sog. Renditehauses Vermögensverwaltung bildet, wenn und soweit diese Tätigkeit sich auf die Erzielung der Erträgnisse des Vermögensobjekts an sich beschränkt und nicht betrieblichen Charakter hat (Urteil des Bundesgerichts H 36/03 vom 7. Juni 2004, E. 4.4; <ref-ruling> E. 2a S. 83 f.). Dagegen verfügt die Vermietertätigkeit dann über betrieblichen Charakter, wenn sie die blosse Gebäudeverwaltung übersteigt (Urteil des Bundesgerichts H 36/03 vom 7. Juni 2004, E. 4.4; <ref-ruling> E. 5a S. 86 f.). So erblickte die Rechtsprechung unter den konkreten Umständen bereits in einem Personalaufwand von etwas über Fr. 80'000.-- ein Indiz für ein persönliches Tätigwerden und damit für die Ausübung einer selbständigen Erwerbstätigkeit (Urteil des Bundesgerichts 9C_538/2007 vom 28. April 2008, E. 5.1).
Diese unterschiedliche Würdigung des Vermietens von (möblierten) Wohnungen im Steuer- und im Sozialversicherungsrecht wurde im Schrifttum mit guten Gründen kritisiert (vgl. Reto Böhi, Der unterschiedliche Einkommensbegriff im Steuerrecht und im Sozialversicherungsrecht und seine Auswirkungen auf die Beitragserhebung, Diss. Bern 2001, S. 239 ff., insbesondere S. 284). Danach gibt es keine überzeugenden Gründe für eine unterschiedliche Betrachtungsweise im Steuer- und im Sozialversicherungsrecht. Eine allfällige Vereinheitlichung der Praxis sollte eher in Richtung der Rechtsprechung zum Sozialversicherungsrecht gehen, ist doch die nicht rein liegenschaftliche Tätigkeitskomponente bei der Vermietung möblierter Wohnungen wesentlich bedeutender als diejenige bei unmöblierten Wohnungen.
3.4 Demgegenüber ging die Rechtsprechung bei Mietverhältnissen für andere Räume als Wohnungen meist von geschäftlichen Betrieben aus, so dass die Mieterträge aus diesem Grunde Einkünfte aus selbständiger Erwerbstätigkeit bildeten. So führte etwa das Bundesgericht aus, "che la locazione e la gestione degli immobili adibiti a centri commerciali è da considerare come attività lucrativa indipendente ai sensi dell'art 18 cpv. 1 LIFD", was im konkreten Fall um so mehr galt, als die steuerpflichtige Person über ein Geschäft verfügte, welchem die Nutzungsentgelte zukamen (Urteil 2P.56/2000 und 2A.118/2000 vom 27. März 2001 E. 3e, in RDAT II-2001, 496 S. 502). In einem anderen Fall wurden die Einkünfte aus der Vermietung eines umfangreichen Immobilienbesitzes ebenfalls als Einkunft aus selbständiger Erwerbstätigkeit beurteilt, weil diese auch dort einem buchführungspflichtigen Betrieb zuflossen (ASA 61, 791 S. 798 f.). Dasselbe galt für vermietete Lagerhallen (ASA 41, 34 S. 36) oder für die Vermietung von Hochseeschiffen (<ref-ruling> E. 2 S. 288 f.; vgl. auch das Urteil des Bundesgerichts H 9C_538/2007 vom 28. April 2008, E. 4.3). Einzig bei der Vermietung eines Lagers für Düngemittel gab es keinen solchen Konnex mit einem geschäftlichen Betrieb, weshalb die - isoliert beurteilten - Mieterträge als Einkünfte aus unbeweglichem Vermögen qualifiziert wurden (Urteil des Bundesgerichts 2P.215/1998 und 2A.317/1998 vom 30. Juni 1999, E. 3c/cc, in RDAT I-2000, 671 S. 674).
4. 4.1 Im vorliegenden Fall bejaht die Vorinstanz an sich das Vorliegen eines Betriebes. Sie hält jedoch dafür, dass sich trotzdem noch eine Abgrenzung gegenüber dem Liegenschaftsertrag aufdränge, und sie kommt aufgrund einer detaillierten Analyse zum Ergebnis, dass per saldo doch Einkünfte aus Liegenschaften im Sinne von Art. 21 Abs. 1 lit. a DBG gegeben seien. Damit sei beim Wegfall dieses Einkommens prinzipiell weder eine Zwischen- noch eine Sonderveranlagung möglich. Diese Auffassung ist jedoch widersprüchlich: Liegt effektiv ein "Betrieb" vor wie dies die Vorinstanz annimmt, dann bilden die damit zusammenhängenden Bezüge zwangsläufig ebenfalls Einkünfte aus selbständiger Erwerbstätigkeit, selbst wenn sie - bei isolierter Betrachtungsweise - eher als Liegenschaftserträge zu qualifizieren wären (vgl. E. 3.4).
4.2 Es ist deshalb im Folgenden zu prüfen, ob die Grundannahme der Vorinstanz, nämlich die Existenz eines kaufmännischen Unternehmens, zutrifft. Nur wenn sich diese Grundannahme als unzutreffend erweisen sollte, müsste die Natur der vereinnahmten Einkünfte noch näher untersucht werden.
4.2.1 Im angefochtenen Urteil wird dazu ausgeführt: "Hier liegt mit dem Campingplatz entgegen der Auffassung der Pflichtigen ein Betrieb vor, für den auch - insbesondere durch den für den Unterhalt und Betrieb des Platzes verantwortlichen, von den Pflichtigen entlöhnten L._ - bestimmte Arbeiten erbracht wurden. Dass die Pflichtigen diese Arbeiten nicht selbst ausführten, sondern durch L._ erledigen liessen, spielt keine Rolle. Ebenso kann keinem Zweifel unterliegen, dass die Pflichtigen diese Organisation selbst wählten, ein allfälliges Unternehmerrisiko selbst trugen und im Campingplatz in erheblichem Ausmass (Eigen-)Kapital gebunden war. Auch dass dieser Betrieb des Campingplatzes planmässig und auf Dauer erfolgte, kann angesichts der über 15-jährigen Zeitspanne zwischen dem Erwerb und der Teilveräusserung des Areals nicht zweifelhaft sein. Schliesslich erfolgte auch ein Auftritt nach aussen, besteht doch sogar noch heute ein Telefoneintrag für die «Einfache Gesellschaft K._». Diese Ausführungen sind nicht zu beanstanden und für das Bundesgericht verbindlich (vgl. Art. 105 BGG). Sie decken sich mit dem Ergebnis des einlässlich begründeten Einspracheentscheids vom 21. Mai 2006. Zu ergänzen wäre höchstens, dass diese einfache Gesellschaft, die ein kaufmännisches Unternehmen betrieb, im Grunde eine Kollektivgesellschaft war (Arthur Meier-Hayoz/Peter Forstmoser, Schweizerisches Gesellschaftsrecht, 10. Aufl., Bern 2007, S. 314). Deren Organisation bestand im Übrigen nicht nur aus dem Verwalter L._, sondern ebenso aus den fallweise beigezogenen Hilfspersonen sowie aus einem Treuhandbüro, welches das Inkasso besorgte und die administrativen Arbeiten erledigte.
4.2.2 Im Übrigen bezeichnete das Bundesgericht in einem anderen Fall eine vergleichbare Wohnwagenkolonie (von sogar nur 25 statt wie hier rund 70 Wohnwagen) als "Unternehmen", wobei dort allerdings der Betreiber des Platzes nicht zugleich Eigentümer von Grund und Boden war (ASA 48, 149 S. 152). Überdies gingen die Behörden auch bezüglich der Sozialversicherungsbeiträge grundsätzlich von einer selbständigen Erwerbstätigkeit aus. Daran vermag der Umstand, dass die Gesellschaft keine Abschreibungen vornahm und dass der Kanton St. Gallen die Grundstückgewinnsteuer - unter der Annahme, dass es sich um Privatvermögen handelte - erhoben hat, nichts zu ändern, um so mehr, als diese Steuer angesichts der langen Haltedauer für die Beschwerdeführer vorteilhafter war als die kantonale Einkommenssteuer. Ebenso wenig vermag eine Rolle zu spielen, dass das Kantonale Steueramt Zürich von den Beschwerdeführern nie einen Fragebogen für Selbständigerwerbende einverlangt hat.
4.2.3 Zusammenfassend erweist sich die Feststellung der Vorinstanz, es handle sich vorliegend um einen Betrieb, als zutreffend. Damit bilden aber die vereinnahmten Einkünfte automatisch solche aus selbständiger Erwerbstätigkeit im Sinne von Art. 18 Abs. 1 DBG. Bei deren Wegfall ist eine Zwischenveranlagung nach Art. 45 lit. b DBG vorzunehmen und zwar ohne Rücksicht darauf, wie viel das wegfallende Erwerbseinkommen am Gesamteinkommen ausmacht, müssen sich doch die "Erwerbsgrundlagen" ("bases de l'activité lucrative", "basi dell'attività lucrativa") dauernd und wesentlich verändern (insofern etwas ungenau das Urteil des Bundesgerichts 2A.486/2002 vom 31. März 2003 E. 4.1, in StR 58, 611 S. 617). Dies ist bei einer einzigen Einkunft aus selbständiger Erwerbstätigkeit, die definitiv versiegt, stets der Fall (vgl. neuerdings das Urteil des Bundesgerichts 2C_63/2008 vom 22. Mai 2008, E. 3.2). Gleichzeitig sind die dabei noch nicht als Einkommen besteuerten Kapital- bzw. Überführungsgewinne nach Art. 18 Abs. 2 DBG einer vollen Jahres-steuer zu dem Satze, der sich für diese Einkünfte allein ergibt, zu unterstellen (Art. 47 Abs. 1 DBG).
4.3 Selbst ohne Beachtung des wirtschaftlichen Zusammenhanges von Betrieb und diesem zugeflossenen Einkünften wäre im vorliegenden Fall der betriebliche Charakter der Bezüge der Beschwerdeführer zu bejahen. Eine isolierte Betrachtungsweise würde mithin zu keinem anderen Ergebnis führen. Denn der von der Vorinstanz angestellte Vergleich mit einem Mietshaus, wo der Hauswart gewisse Reinigungs- und Unterhaltsarbeiten ausführt und wo es sich anerkanntermassen um blosse Vermögensverwaltung handelt, vermag nicht zu überzeugen. Beim hier vorliegenden Wohnmobilpark handelt es sich um ein ausgedehntes "Camperdorf" an bevorzugter Lage direkt am See. Neben der umfangreichen Parkanlage mit altem Baumbestand ist vor allem die Wartung des geheizten Freiluftschwimmbades sehr arbeitsintensiv. Im Geschäftsjahr 1996 wurden aus Wohnwagenmieten Fr. 270'262.50 und im Geschäftsjahr 1997 Fr. 180'281.25 vereinnahmt. Hinzu kamen Mieten von Wohnhäusern bzw. Garage und Scheune von Fr. 66'240.-- (1996) bzw. Fr. 61'720.-- (1997). Diesen Erträgen standen umfangreiche Unterhaltskosten für die diversen Liegenschaften und als Hauptausgabeposten "Gehälter und Sozialleistungen" von Fr. 118'125.65 (1996) bzw. Fr. 110'289.90 (1997) gegenüber. Dazu werden weitere Aufwandpositionen geltend gemacht, die aus dem Rahmen einer herkömmlichen Liegenschaftsverwaltung fallen, so z.B. "Autokosten" und jährlich relativ hohe Kosten unter "Diverses". Gleichzeitig werden Fremdkapitalzinsen von Fr. 29'868.75 (1996) bzw. Fr. 26'795.85 (1997) ausgewiesen, woraus hervorgeht, dass in der Gesellschaft doch auch beträchtlich Fremdkapital steckte (total Fr. 590'000.--). All diese Indizien deuten darauf hin, dass die reine Vermietertätigkeit gesprengt wurde (vgl. zum Sozialversicherungsrecht die Urteile des Bundesgerichts 9C_538/2007 vom 28. April 2008, E. 5.1, und H 273/96 vom 11. Februar 1997, E. 5c, in Pra 1997 Nr. 80). Damit bildeten aber die vereinnahmten Einkünfte - selbst bei isolierter Betrachtungsweise - solche aus selbständiger Erwerbstätigkeit im Sinne von Art. 18 Abs. 1 DBG. Bei deren Wegfall ist eine Zwischenveranlagung nach Art. 45 lit. b DBG vorzunehmen, und die dabei noch nicht als Einkommen besteuerten Kapital- bzw. Überführungsgewinne nach Art. 18 Abs. 2 DBG sind einer vollen Jahressteuer zu dem Satze, der sich für diese Einkünfte allein ergibt, zu unterstellen (Art. 47 Abs. 1 DBG).
5. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Verfahrensausgang sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführern unter Solidarhaft aufzuerlegen (Art. 65 f. BGG). Eine Parteientschädigung ist nicht geschuldet (Art. 68 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 10'000.-- werden den Beschwerdeführern unter Solidarhaft auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, dem Kantonalen Steueramt Zürich, der Steuerrekurskommission II des Kantons Zürich sowie der Eidgenössischen Steuerverwaltung (Hauptabteilung Direkte Bundessteuer, Verrechnungssteuer, Stempelabgaben) schriftlich mitgeteilt.
Lausanne, 27. Juni 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Uebersax