Sachverhalt:
A. Im September 1984 gründeten X._ und Y._ in Anguilla die Bank A._. X._ wurde in diesem Zusammenhang bereits im Juni 1985 verhaftet und und bis Mitte Januar 1987 in Untersuchungshaft gesetzt. Das Obergericht des Kantons Zürich verurteilte ihn am 20. Juni 1990 wegen gewerbsmässigen Betrugs, unwahrer Angaben über Handelsgesellschaften und Widerhandlung gegen das BankG zu fünf Jahren Zuchthaus und 10'000 Franken Busse. Nach dieser Strafverbüssung arbeitete der inzwischen fünffach einschlägig mit insgesamt 20 Jahren Zuchthaus Vorbestrafte (davon 17 Jahre verbüsst) wieder vollumfänglich für die Bank A._ bzw. die A._-Gruppe bis zu seiner erneuten Verhaftung am 19. Januar 2000 (angefochtenes Urteil S. 130 f.). Y._ arbeitete seit der Gründung der Bank A._ mit X._ zusammen. Während X._ der "Lenker und Denker der Bank A._" war, beschäftigte sich Y._, gelernter Schriftenmaler und "rechte Hand" von X._, in erster Linie mit den Formularen und Prospekten der Bank A._. Daneben leitete er die Geschäfte der Bank A._ während der Untersuchungshaft und der Strafverbüssung von X._. Er selber war vom Obergericht des Kantons Zürich ebenfalls am 20. Juni 1990 wegen gewerbsmässigen Betrugs, unwahrer Angaben über Handelsgesellschaften und Widerhandlung gegen das BankG zu einer bedingten Zuchthausstrafe von 18 Monaten und 2'000 Franken Busse verurteilt worden. Nach dieser Verurteilung war er bis zu seiner Verhaftung am 19. Januar 2000 ausschliesslich für die A._-Gruppe inklusive Bank A._ tätig (angefochtenes Urteil S. 136).
B. Die von den anguillanischen Behörden der von X._ und Y._ im September 1984 in Anguilla gegründeten Bank A._ erteilte Banklizenz umfasste alle Bankgeschäfte, die jedoch ausschliesslich mit Personen ohne Wohnsitz in Anguilla getätigt werden durften. Y._ war Präsident, X._ Sekretär der Bank A._. Auf Prospekten gaben sie die Verbindungsadresse der B._ AG an der Bahnhofstrasse in Zürich an. Sie verfügten über keine bankengesetzliche Bewilligung der EBK (Eidgenössische Bankenkommission). Die 1990 nach den Verurteilungen und einer Intervention der EBK im Rahmen einer Neuorganisation nach Antigua verlegte A._ Finanz AG, die vorgeschoben treuhänderisch das Aktiv- und Passivgeschäft übernehmen sollte, verwendete weiterhin eine Telefonnummer und eine Adresse in Zürich. Eingehende Anrufe wurden auf die private Nummer von X._ umgeleitet. Nach Ablauf der Banklizenz 1991 wurde die Bank A._ 1994 nach freiwilliger Liquidation gelöscht. X._ und Y._ setzten aber ihre Tätigkeit in der Schweiz und von der Schweiz aus fort und benutzten nun die abgeänderte Firma "Bank A._ - Privatbank der A._ Holding". Weder diese Firma noch die A._ Holding besassen Banklizenzen (angefochtenes Urteil S. 60 ff.). Die Anlagegelder wurden im Wesentlichen auf ein Konto in Jungholz/Tirol eingezahlt und von hier "quer durch halb Europa" verschoben (angefochtenes Urteil S. 120).
X._ und Y._ warben mit dem Begriff "Bank" sowie den Slogans "The fine art of private banking" und "Swiss Management", verfügten aber - abgesehen von der fehlenden Banklizenz - weder über eine kaufmännische noch eine bankspezifische Ausbildung. Sie suchten den Eindruck einer unter schweizerischer Leitung stehenden seriösen und solventen Bank mit Sitz in Anguilla zu vermitteln, die in der Lage war, überdurchschnittlich hohe Zinsen anzubieten und dabei einen hohen Sicherheitsstandard zu garantieren. In Anguilla wurden aber lediglich Schreiben und Telefonanrufe in die Schweiz an X._ weitergeleitet. Das ganze System A._ war von Anfang an und zu jedem Zeitpunkt mit zunehmender Tendenz überschuldet (angefochtenes Urteil S. 97).
Aus verjährungsrechtlichen Gründen wurde die bereinigte Anlegerliste vom 31. Januar 2000 mit Anlagebeginn ab dem 4. März 1993 mit insgesamt 1'454 Anlegern und einem Total der Anlage- bzw. Wiederanlagebeträge in der Höhe von Fr. 77'529'061.-- massgebend (angefochtenes Urteil S. 65). Mangels jeglicher Kooperation handelt es sich dabei lediglich um die vom Besonderen Untersuchungsrichteramt rekonstruierbaren Beträge. Das eingenommene Geld wurde, soweit es nicht an die Anleger zurückbezahlt wurde, für Anlagen auf dem Geld- und Kapitalmarkt, Zahlungen an eigene Unternehmen bzw. Projekte der Gruppe sowie für Darlehen an Personen und zur Finanzierung der eigenen Lebenshaltungskosten verwendet (angefochtenes Urteil S. 67). Anlagegelder im Umfang von ca. 24 Millionen Franken konnten nicht aufgefunden werden (angefochtenes Urteil S. 132).
C. Das Strafgericht Basel-Landschaft verurteilte am 22. November 2006 X._ wegen gewerbsmässigen Betrugs, banden- und gewerbsmässiger Geldwäscherei sowie Widerhandlung gegen das BankG zu einer Zuchthausstrafe von 6 1⁄2 Jahren und Fr. 1'000.-- Busse. Es verurteilte Y._ ebenfalls wegen gewerbsmässigen Betrugs, banden- und gewerbsmässiger Geldwäscherei sowie Widerhandlung gegen das BankG zu einer Zuchthausstrafe von 3 Jahren und Fr. 1'000.-- Busse. Ferner entschied es, die Beurteilung der Zivilforderungen habe durch das Strafgericht in einem gesonderten Verfahren in analoger Anwendung von Art. 9 Abs. 2 OHG zu erfolgen.
Das Kantonsgericht Basel-Landschaft hiess am 3. März 2008 die Appellationen des Besonderen Untersuchungsrichteramts und der beiden Verurteilten teilweise gut. Es bestätigte die Schuldsprüche und Freiheitsstrafen mit der Ausnahme, dass es beide Verurteilte vom Vorwurf der Zuwiderhandlung gegen das BankG zufolge Verjährung freisprach, die Busse für X._ auf Fr. 10'000.-- festsetzte und beiden Verurteilten einen zusätzlichen Tag für ausgestandene Untersuchungshaft anrechnete. Ferner hob es den Entscheid des Strafgerichts auf, die Zivilforderungen gemäss Art. 9 Abs. 2 OHG zu beurteilten, und entschied, die vereinnahmten Vermögenswerte der EBK nach Eintritt der Rechtskraft des Konkursentscheids gemäss Art. 33 BankG zur Verfügung zu halten.
D. X._ und Y._ erheben in einer gemeinsamen Eingabe "verfassungsrechtliche Beschwerde" mit dem Antrag, diese gutzuheissen, das Urteil des Kantonsgerichts aufzuheben und die Sache an dieses zurückzuweisen.
In der Vernehmlassung beantragen das Kantonsgericht und das Besondere Untersuchungsrichteramt die Abweisung der Beschwerde, soweit darauf einzutreten sei.
Erwägungen:
1. 1.1 Nach dem Konzept der Einheitsbeschwerde hängt der Rechtsmittelweg an das Bundesgericht vom Rechtsgebiet ab, auf welches die Sache letztlich zurückgeht. Die Eingabe ist somit als Beschwerde in Strafsachen gemäss Art. 78 BGG entgegen zu nehmen.
1.2 Beschwerdegegenstand ist der Entscheid der Vorinstanz. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es prüft die Verletzung von Grundrechten und von kantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; BGE 133 III 439 E. 3.2; 133 IV 286 E. 1.4). Auf rein appellatorische Kritik tritt es nicht ein (BGE 133 II 396 E. 3.1). Die Feststellung des Sachverhalts und die Anwendung des kantonalen Rechts prüft es auf Willkür hin (Art. 9 BV). Es hebt einen Entscheid auf, wenn er schlechterdings unhaltbar ist, d.h. mit der tatsächlichen Situation in klarem Widerspruch steht, auf einem offenkundigen Versehen beruht oder sich sachlich in keiner Weise rechtfertigen lässt (BGE 133 III 589 E. 4.1; 131 I 217 E. 2.1, 467 E. 3.1).
1.3 Die Beschwerde ist weitgehend appellatorisch. Die Vorbringen sind teils geradezu mutwillig. Die Beschwerdeführer erneuern ihre bereits im kantonalen Verfahren erhobenen Vorwürfe ungeachtet der Erwägungen im angefochtenen Urteil. Soweit darauf einzugehen ist, wird der bundesgerichtliche Entscheid summarisch begründet und im Übrigen auf das angefochtene Urteil verwiesen (Art. 109 Abs. 3 BGG).
2. 2.1 Die Beschwerdeführer handelten in der Schweiz und von der Schweiz aus (angefochtenes Urteil S. 11). Damit ist die schweizerische Zuständigkeit gegeben (Art. 3 und 8 StGB), unbesehen darum, ob allenfalls konkurrierend auch eine deutsche strafrechtliche Zuständigkeit gegeben gewesen wäre. An dieser strafrechtlichen Zuständigkeit ändert auch nichts, dass die Anleger in den Allgemeinen Geschäftsbedingungen das britische Recht als gültig anerkannt hätten (Beschwerde S. 24, 25). Mit Allgemeinen Geschäftsbedingungen lässt sich die schweizerische Strafrechtshoheit nicht ausschliessen.
2.2 Die Beschwerdeführer behaupten ein "Verfahren ohne Kläger und Geschädigte". Sie sind darauf hinzuweisen, dass es sich vorliegend um ein Strafverfahren handelt, so dass die zu beurteilenden Straftaten von Amtes wegen zu verfolgen sind. Die Vorinstanz beurteilt die Frage des Schadens ausführlich und geht von einem strafrechtlich relevanten Schaden von 77,5 Millionen Franken aus (angefochtenes Urteil S. 102 ff.). Überdies konnte das Besondere Untersuchungsrichteramt ca. 24 Millionen Franken Anlagegelder nicht auffinden. Ferner bringen die Beschwerdeführer selber vor, in 530 Fällen hätten deutsche Gerichte Klagen angenommen, so dass heute gegen sie vollstreckbare Titel von über 37 Millionen Franken bestünden (Beschwerde S. 4, 10, 19). Das "Angebot der Versicherungsdeckung" (Beschwerde S. 5) diente offensichtlich einzig dem Kundenfang. Die Bank A._war von Anfang an überschuldet. Allerdings erfüllte die Bank A._während Jahren "ihre Zahlungsverpflichtungen" weitgehend (Beschwerde S. 6). Die Beschwerdeführer beziehen sich dabei wohl auf Rückzahlungen und "Zinszahlungen". Was die Beschwerdeführer mit der Behauptung von "unterschlagenen Eingaben mit Anträgen von Anlegern auf Verfahrenseinstellung" oder der "unklaren oder fragwürdigen Parteistellung der Anleger im Verfahren" (Beschwerde S. 13 und 14) vorbringen wollen, wird nicht nachvollziehbar. Wie erwähnt, sind Strafverfahren von Amtes wegen zu führen. Dass allenfalls gewisse Kunden an einem Strafverfahren nicht interessiert sind, ist unerheblich.
2.3 Die Beschwerdeführer wurden einvernommen und konnten sich äussern. Sie waren durch Verteidiger verbeiständet. Die Vorinstanz prüft die Fragen der Verfahrensfairness, des rechtlichen Gehörs und der Akteneinsicht. Dabei stellt sie zwar fest, dass die Zeit zwischen 13. Dezember 2004 und 10. Februar 2005 kaum ausreichend war, um die etwa 250 Bundesordner im Detail zu sichten. Allerdings sei nicht dokumentiert, dass die Beschwerdeführer mehr Akteneinsicht verlangt hätten. Es sei ihnen spätestens ab April 2001 ein grundsätzlich umfassendes Akteneinsichtsrecht gewährt worden. Auch die Behauptungen, es seien keine konkreten Vorhalte gemacht worden, seien unzutreffend. Sie hätten sich von Anfang an auf ihr Aussageverweigerungsrecht berufen (angefochtenes Urteil S. 27 f.).
Es ist auch nicht ersichtlich, was die Beschwerdeführer mit dem Vorwurf einer mangelnden Befragung "zu subjektiven Tatbeständen" geltend machen wollen, diente doch die gesamte Untersuchung der Erforschung der "effektiven Absichten" (Beschwerde S. 27). Den subjektiven Sachverhalt beurteilt die Vorinstanz denn auch ausführlich (angefochtenes Urteil S. 105 ff.). Ebenso wenig ist unter den Titeln einer Verletzung der Unschuldsvermutung oder des Grundsatzes in dubio pro reo sowie der Vorverurteilung eine Verfassungs- oder Konventionsverletzung ersichtlich.
2.4 Soweit die Beschwerdeführer eine vorsätzliche Vermögensschädigung und Verschleuderung von Vermögenswerten durch die Vorinstanzen behaupten (Beschwerde S. 28), ist darauf nicht einzutreten. Solche Vorwürfe sind nicht Verfahrensgegenstand. Zum Vorwurf oder zur Entlastung, die EBK sei gegen die Bank A._ nicht eingeschritten (Beschwerde S. 30), weist die Vorinstanz darauf hin, dass die Beschwerdeführer die EBK bewusst unzutreffend bzw. nur lückenhaft über ihre Tätigkeit informierten und dass kein Anspruch auf Schutz vor eigener Delinquenz bestehe (vgl. angefochtenes Urteil S. 77, 117, 132).
2.5 Die Beschwerdeführer behaupten, der Vorwurf der Unterlassung der Buchführung sei willkürlich (Beschwerde S. 18). Die Vorinstanz prüft diese Frage ausführlich und stellt fest, die Beschwerdeführer hätten es "vorgezogen, den Aufenthaltsort der angeblichen Buchhaltung nicht bekannt zu geben" (angefochtenes Urteil S. 32). Die Bank A._ und A._ Holding sind ihrer Buchführungspflicht in Anguilla nicht nachgekommen. Auch in den von den Beschwerdeführern bezeichneten beschlagnahmten Computern konnte keine Buchhaltung aufgefunden werden. Nach einem Strategiepapier der Beschwerdeführer war die Bank "so organisiert, dass sie nicht zu knacken sei" (angefochtenes Urteil S. 32, 111). X._ sorgte dafür, dass die Durchschaubarkeit des Schwindelsystems praktisch verunmöglicht wurde. Die Vorbringen sind mutwillig.
2.6 Ebenso mutwillig ist der Vorwurf der mangelhaften Abklärung des Betrugsvorwurfs (Beschwerde S. 19 ff.). Ferner muss bei serienmässig nach demselben Muster begangenen Betrügen die Tatbestandsmässigkeit nicht für jeden Einzelfall gesondert geprüft werden, sofern sich diese schon aufgrund des Handlungsmusters für alle Opfer ergibt (Urteil 6B_466/2008 vom 15. Dezember 2008 E. 3.3, in BGE 135 IV 76 nicht publizierte Erwägung; hinsichtlich des Betrugsbegriffs ist auf diesen BGE zu verweisen). Bei den vorinstanzlichen Feststellungen, die Bank A._ auf Anguilla sei eine "Scheinbank" gewesen, handelt es sich nicht um die Begründung des Schuldspruchs mit einer dem Hexenhammer entsprechenden akribischen Mischung von mehr oder weniger juristischen Argumenten, wie die Beschwerdeführer schreiben (Beschwerde S. 23). Nach dem Report of Investigation hatten Bank A._ und A._ Holding in Anguilla nur eine Briefkastenfirma und besassen kein eigenes Personal und keine eigenen Räumlichkeiten (angefochtenes Urteil S. 69; vgl. auch oben E. B). Die Beschwerdeführer unternahmen alles, damit das Scheinkonstrukt Bank A._ als seriöse Bank wahrgenommen werde (angefochtenes Urteil S. 131).
2.7 Die Beschwerdeführer bringen vor, dass "[j]eder Jura-Student weiss, dass die Banken Dispositionsfreiheit über die Kundengelder haben, sofern die Anlagen nicht einem Vermögensverwaltungsvertrag unterstehen und nur für vertragsgemässe Zwecke verwendet werden dürfen". Die Bank A._ habe die Rückzahlungsverpflichtungen während 16 Jahren pünktlich erfüllt (Beschwerde S. 25). Dabei handelte es sich indessen um Anlagegelder. Es liegen aber keine Hinweise vor, wonach die Beschwerdeführer Investitionen getätigt hätten, aufgrund derer sie tatsächlich in der Lage gewesen wären, das investierte Kapital zurückzuzahlen oder die versprochenen Renditen zu erwirtschaften (angefochtenes Urteil S. 108, 110). Es dürfte sich mithin im Wesentlichen um ein "Schneeballsystem" gehandelt haben. Die Einwände gegen die Schuldsprüche sind unbegründet.
2.8 Die Vorinstanz entscheidet, dass hinsichtlich der Zivilforderungen die bankengesetzliche Liquidation zu bevorzugen sei (angefochtenes Urteil S. 145). Damit sind die Geschädigten entgegen den Behauptungen der Beschwerdeführer nicht "hilflos und rechtlos dem Wohlwollen oder der Laune der EBK ausgeliefert" (Beschwerde S. 16). Im Übrigen sind die Beschwerdeführer zur Vertretung von behaupteten Geschädigteninteressen nicht legitimiert (Art. 81 Abs. 1 lit. b BGG).
3. Die Beschwerde ist unbegründet und abzuweisen, soweit darauf einzutreten ist. Die Beschwerdeführer tragen die Kosten vor Bundesgericht in solidarischer Haftung (Art. 66 Abs. 1 und 5 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 5'000.-- werden den Beschwerdeführern solidarisch auferlegt.
3. Dieses Urteil wird den Parteien und dem Kantonsgericht Basel-Landschaft, Abteilung Zivil- und Strafrecht, schriftlich mitgeteilt.
Lausanne, 5. August 2009
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Favre Briw