Sachverhalt:
A. H._ war Präsident, E._ und N._ waren Mitglieder des Verwaltungsrates der X._ AG, die als beitragspflichtige Arbeitgeberin der Ausgleichskasse des Schweizerischen Baumeisterverbandes angeschlossen war. Am 8. Januar 2004 wurde über die Gesellschaft der Konkurs eröffnet. Mit Verfügung vom 9. Dezember 2005 verpflichtete die Ausgleichskasse H._ zur Bezahlung von Schadenersatz in der Höhe von Fr. 534'774.40 für ungedeckt gebliebene Beiträge. Mit Verfügung vom gleichen Tag verhielt die Ausgleichskasse auch die Ehegatten E._ und N._ in solidarischer Haftung mit H._ zur Bezahlung von Schadenersatz in nämlicher Höhe.
In teilweiser Gutheissung der von allen Belangten erhobenen Einsprachen setzte die Ausgleichskasse ihre Schadenersatzforderung mit Entscheiden vom 15. Februar und 12. April 2006 auf Fr. 425'245.65 herab.
B. H._ sowie E._ und N._ liessen je Beschwerde führen mit dem Hauptantrag, der Einspracheentscheid sei aufzuheben. Das Kantonsgericht Basel-Landschaft vereinigte die beiden Verfahren. Mit Entscheid vom 29. November 2006 wies es die Beschwerden ab.
C. E._ und N._ führen Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, unter Aufhebung des angefochtenen Entscheides sei die Sache zu näherer Abklärung und neuer Entscheidung an das kantonale Gericht oder die Ausgleichskasse zurückzuweisen; eventuell sei festzustellen, dass die Beschwerdeführer nicht oder jedenfalls nicht vollumfänglich schadenersatzpflichtig sind. Ferner ersuchen sie darum, der Beschwerde die aufschiebende Wirkung zu erteilen.
Die Ausgleichskasse und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
D. Mit Schreiben vom 24. Mai 2007 teilte der Instruktionsrichter den Beschwerdeführern mit, dass die Beschwerde als Verwaltungsgerichtsbeschwerde nach OG zu behandeln sei und von Gesetzes wegen aufschiebende Wirkung habe. Das Gesuch um aufschiebende Wirkung sei damit gegenstandslos.

Erwägungen:
1. Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
2. Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Bundesgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3. In formellrechtlicher Hinsicht rügen die Beschwerdeführer, die Ausgleichskasse habe ihren Anspruch auf rechtliches Gehör verletzt, indem sie sich nicht mit den in der Einsprache vorgebrachten Argumenten auseinandergesetzt habe. Diesbezüglich hat bereits die Vorinstanz festgehalten, dass die Ausgleichskasse im Einspracheentscheid ihrer Begründungspflicht, wenn auch knapp, Genüge getan hat; der Einspracheentscheid vom 12. April 2006 hält fest, aus welchen Gründen die Haftungsvoraussetzungen aus Sicht der Ausgleichskasse erfüllt sind und nimmt auch in geraffter Form zu den wichtigsten in der Einsprache erhobenen Einwendungen Stellung (vgl. zu den Anforderungen an die Begründungsdichte von Einspracheentscheiden Urteil des Eidgenössischen Versicherungsgerichts I 3/05 vom 17. Juni 2005). Entgegen der offenbaren Annahme der Beschwerdeführer kann auch im Umstand, dass hinsichtlich der Baulandreserven und des zugesicherten Kredits der Bank Y._ keine Beweismassnahmen getroffen wurden, keine Verletzung des rechtlichen Gehörs erblickt werden. Vielmehr ist von einer zulässigen antizipierten Beweiswürdigung auszugehen (vgl. <ref-ruling> E. 3 S. 157 mit Hinweisen).
4. Im kantonalen Entscheid werden die Rechtsgrundlagen der Arbeitgeberhaftung (<ref-law>; <ref-law> in Verbindung mit <ref-law>) und die Rechtsprechung zur subsidiären Haftbarkeit der verantwortlichen Organe (<ref-ruling> E. 5b S. 15 mit Hinweisen), zur Haftungsvoraussetzung des qualifizierten Verschuldens (<ref-ruling> E. 3a S. 202; ZAK 1985 S. 620 E. 3b; vgl. auch <ref-ruling> E. 4b) und zum erforderlichen adäquaten Kausalzusammenhang zwischen der absichtlichen oder grobfahrlässigen Missachtung von Vorschriften und dem eingetretenen Schaden (<ref-ruling> E. 4a S. 406) zutreffend dargelegt. Darauf kann verwiesen werden.
5. 5.1 Die Vorinstanz hat festgehalten, dass die Beschwerdeführerin als Mitglied des Verwaltungsrates von den Vorgängen in der Unternehmung hätte Kenntnis haben und gegen die finanziellen Schwierigkeiten hätte einschreiten müssen. Der Einwand, dass sie in der X._ AG nur subalterne Aufgaben wahrgenommen habe, sei nicht stichhaltig. Gründe, welche die schuldhafte Pflichtverletzung bezüglich der Nichtbezahlung der Beiträge rechtfertigen oder entschuldigen würden, lägen nicht vor. Gleiches gelte im Ergebnis auch für den Beschwerdeführer, der als kollektiv zu zweien zeichnungsberechtigtes Mitglied des Verwaltungsrates für den grobfahrlässig verursachten Schaden ebenfalls solidarisch hafte. Auf diese Darlegungen, welchen in der Verwaltungsgerichtsbeschwerde keine stichhaltigen Argumente entgegengesetzt werden, wird verwiesen.
Soweit die Beschwerdeführer geltend machen, die Begründung der Ausgleichskasse sei nicht erkennbar, und die Vorinstanz argumentiere anstelle der Verwaltung, scheinen sie zu übersehen, dass im Verfahren vor Bundesgericht der kantonale Entscheid das Anfechtungsobjekt bildet. Die Rügen haben sich somit gegen den Gerichtsentscheid und nicht gegen die Verwaltungsverfügung oder den Einspracheentscheid zu richten. Im Übrigen trifft es nicht zu, dass die Beschwerdeführer in tatsächlicher Hinsicht vor Bundesgericht keine Einwendungen mehr vorbringen können, besteht doch keine Bindung an den dem angefochtenen Entscheid zugrunde liegenden Sachverhalt, wenn dieser offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (E. 2 hievor).
5.2 Soweit sich die Beschwerdeführer im Weitern mit den tatsächlichen Feststellungen der Vorinstanz zu den Aussichten auf eine Sanierung der nachmaligen Konkursitin befassen, machen sie wiederum geltend, das kantonale Gericht habe den rechtserheblichen Sachverhalt unter Verletzung des Untersuchungsgrundsatzes und des rechtlichen Gehörs mangelhaft im Sinne von Art. 105 Abs. 2 OG festgestellt. Der Vorwurf, die Vorinstanz habe die angebotenen Beweise im Zusammenhang mit den behaupteten Sanierungsabsichten nicht abgenommen, ist indessen unbegründet: Im angefochtenen Entscheid wurde dargelegt, unter welchen Voraussetzungen es den Organen erlaubt ist, im Hinblick auf eine mögliche Sanierung der Unternehmung für kurze Zeit die Beiträge nicht zu begleichen. Da diese Voraussetzungen im vorliegenden Fall offensichtlich nicht erfüllt waren, weil die X._ AG bereits seit 2002 mit der Beitragszahlung in Verzug war, indem sämtliche Beitragsrechnungen gemahnt und auch betrieben werden mussten, konnte das Kantonsgericht auf die Abnahme von Beweisen zu diesem Punkt verzichten.
5.3 Im Zusammenhang mit der Höhe des Schadens machen die Beschwerdeführer, wie bereits im kantonalen Verfahren, geltend, die Ausgleichskasse treffe ein Mitverschulden: Wenn diese Mitte 2003 mit einem Gesuch nach <ref-law> an das Bezirksgericht gelangt wäre, hätte der mutmassliche Ausstand bloss Fr. 350'000.- betragen.
Nach <ref-law> kann ein Gläubiger ohne vorgängige Betreibung beim Gericht die Konkurseröffnung gegen einen der Konkursbetreibung unterliegenden Schuldner verlangen, der seine Zahlungen eingestellt hat. Nach der Rechtsprechung (<ref-ruling>; Urteil des Eidgenössischen Versicherungsgerichts H 90/00 vom 20. Juni 2001) ist die Schadenersatzpflicht nach <ref-law> einer Herabsetzung wegen Mitverschuldens der Verwaltung zugänglich, sofern sich diese einer groben Pflichtverletzung schuldig gemacht hat, was namentlich dann der Fall ist, wenn sie elementare Vorschriften der Beitragsveranlagung und des Beitragsbezugs missachtet hat. Zudem muss zwischen dem rechtswidrigen Verhalten und dem Schaden ein adäquater Kausalzusammenhang bestehen. Nachdem selbst die Beschwerdeführer nicht behaupten, die Ausgleichskasse habe eine grobe Pflichtverletzung begangen, indem sie von einer Einleitung des Konkurses nach <ref-law> abgesehen hat, und in der Tat nicht ersichtlich ist, dass die Kasse vor Einleitung oder nach Eröffnung des Konkurses (zufolge Passivität) grob pflichtwidrig gehandelt hat, fällt eine Herabsetzung der Schadenersatzforderung ausser Betracht, sodass auf die weiteren Ausführungen in der Verwaltungsgerichtsbeschwerde zu diesem Punkt nicht einzugehen ist.
5.4 Zu bejahen ist sodann auch der für die Organhaftung weiter vorausgesetzte adäquate Kausalzusammenhang zwischen der grobfahrlässigen Missachtung der Vorschriften über den Beitragsbezug durch die Beschwerdeführer und dem eingetretenen Schaden.
6. Aus den vorstehenden Erwägungen folgt, dass das Kantonsgericht zu Recht sämtliche Voraussetzungen der Schadenersatzpflicht gemäss <ref-law> in der von der Ausgleichskasse im Einspracheentscheid vom 12. April 2006 festgesetzen Höhe bestätigt hat, woran die weiteren Ausführungen in der Verwaltungsgerichtsbeschwerde nichts zu ändern vermögen.
7. Dem Verfahrensausgang entsprechend sind die Gerichtskosten den unterliegenden Beschwerdeführern aufzuerlegen (Art. 156 Abs. 1 OG).

Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 9000.- werden den Beschwerdeführern je zur Hälfte auferlegt.
3. Der Differenzbetrag von Fr. 9000.- zu den geleisteten Kostenvorschüssen wird den Beschwerdeführern je hälftig zurückerstattet.
4. Dieses Urteil wird den Parteien, dem Kantonsgericht Basel-Landschaft, Abteilung Sozialversicherungsrecht, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. November 2007
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer