Sachverhalt: A. H._ war Präsident, E._ und N._ waren Mitglieder des Verwaltungsrates der X._ AG, die als beitragspflichtige Arbeitgeberin der Ausgleichskasse des Schweizerischen Baumeisterverbandes angeschlossen war. Am 8. Januar 2004 wurde über die Gesellschaft der Konkurs eröffnet. Mit Verfügung vom 9. Dezember 2005 verpflichtete die Ausgleichskasse H._ zur Bezahlung von Schadenersatz in der Höhe von Fr. 534'774.40 für ungedeckt gebliebene Beiträge. Mit Verfügung vom gleichen Tag verhielt die Ausgleichskasse auch die Ehegatten E._ und N._ in solidarischer Haftung mit H._ zur Bezahlung von Schadenersatz in nämlicher Höhe. In teilweiser Gutheissung der von allen Belangten erhobenen Einsprachen setzte die Ausgleichskasse ihre Schadenersatzforderung mit Entscheiden vom 15. Februar und 12. April 2006 auf Fr. 425'245.65 herab. B. H._ sowie E._ und N._ liessen je Beschwerde führen mit dem Hauptantrag, der Einspracheentscheid sei aufzuheben. Das Kantonsgericht Basel-Landschaft vereinigte die beiden Verfahren. Mit Entscheid vom 29. November 2006 wies es die Beschwerden ab. C. E._ und N._ führen Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, unter Aufhebung des angefochtenen Entscheides sei die Sache zu näherer Abklärung und neuer Entscheidung an das kantonale Gericht oder die Ausgleichskasse zurückzuweisen; eventuell sei festzustellen, dass die Beschwerdeführer nicht oder jedenfalls nicht vollumfänglich schadenersatzpflichtig sind. Ferner ersuchen sie darum, der Beschwerde die aufschiebende Wirkung zu erteilen. Die Ausgleichskasse und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. D. Mit Schreiben vom 24. Mai 2007 teilte der Instruktionsrichter den Beschwerdeführern mit, dass die Beschwerde als Verwaltungsgerichtsbeschwerde nach OG zu behandeln sei und von Gesetzes wegen aufschiebende Wirkung habe. Das Gesuch um aufschiebende Wirkung sei damit gegenstandslos.