Sachverhalt:
A. A.a Die X._ AG (Beschwerdeführerin 1) und die Y._ AG (Beschwerdeführerin 2) sind Mitglieder einer einfachen Gesellschaft, die sich Baukonsortium Q._ nennt und die Überbauung Q._ auf dem Grundstück 111._ in P._ erstellt hat. Die Beschwerdeführerin 1 bezweckt die Erstellung von Hoch- und Tiefbauten aller Art, den Kauf und Verkauf sowie die Vermittlung und Verwaltung von Liegenschaften, die Ausführung von Aufträgen und Arbeiten als Generalunternehmer und Ingenieur sowie die Erstellung von Expertisen und Schätzungen. Die Beschwerdeführerin 2 bezweckt den Betrieb eines Holzbaugeschäftes mit Sägerei, Zimmerei und Schreinerei sowie den Handel mit Holz.
Die Z._ AG (Beklagte 1, Beschwerdegegnerin) hat die Vornahme geotechnischer Beratung, die Ausarbeitung von hydrogeologischen und geotechnischen Gutachten und die Durchführung von entsprechenden Untersuchungen wie Sondierungen, Messungen etc. zum Zweck. Die R._ AG (Beklagte 2) bezweckt unter anderem die Ausführung aller Bohr-, Spreng- und Messarbeiten und der damit zusammenhängenden Ingenieurtätigkeiten im In- und Ausland, Beratungen und Expertisen auf dem Gebiet der Spreng- und Messtechnik und die Ausführung von Ankerbohrungen und Verankerungen aller Art. Zweck der S._ AG (Beklagte 3) ist die Bearbeitung von Fragen aus der Geologie, Hydrogeologie, aus dem Umweltbereich sowie verwandter Fachgebiete mit Schwerpunkt im nördlichen Teil des Kantons Zürich und in dessen angrenzenden Gebieten.
A.b Im Oktober 2004 starteten die Beschwerdeführerinnen die Überbauung Q._ in P._. Kurz nach Aufnahme der Bauarbeiten begann der Hang zu rutschen. Die Beschwerdeführerinnen besichtigten daraufhin im November 2004 den Hang mit der Beklagten 3 und nahmen wenig später zwecks Erstellung einer Hangsicherung mit den Beklagten 1 und 2 Kontakt auf. Die ausgeführte Hangsicherung mit Selbstbohr-Vollverbundankern führte indes nicht zum gewünschten Ergebnis. Nach fortdauernden Hangrutschungen veranlassten die Beschwerdeführerinnen im Januar 2005 die Wiederauffüllung der Baugrube und die Projektierung und Ausführung einer anderen Hangsicherung.
Die Beschwerdeführerinnen verlangen von allen drei Beklagten unter solidarischer Haftung Schadenersatz mit der Begründung, sie hätten ihre vertraglichen Pflichten im Zusammenhang mit der Hangsicherung verletzt.
B. Am 4. April 2006 reichten die Beschwerdeführerinnen beim zuständigen Handelsgericht des Kantons Zürich Klage gegen die drei Beklagten ein. Gemäss Eingabe vom 4. Juli 2008 beantragten sie unter anderem, die Beklagten 1, 2 und 3 seien unter solidarischer Haftbarkeit zu verpflichten, den Beschwerdeführerinnen Fr. 1'500'000.-- zuzüglich Zins von 5 % seit dem 21. August 2007 zu bezahlen; unter Nachklagevorbehalt.
Mit (nicht Gegenstand des vorliegenden Beschwerdeverfahrens bildendem) Teilurteil vom 13. Oktober 2008 wies das Handelsgericht die Klage gegen die Beklagte 3 ab.
Mit Teilurteil vom 17. Dezember 2008 wies das Handelsgericht die Klage auch gegen die Beklagte 1 ab. Es qualifizierte das Vertragsverhältnis der Parteien als gemischten Vertrag, der überwiegend Verpflichtungen werkvertraglicher Natur, indessen auch solche auftragsrechtlicher Natur enthalte. Die Pflichten, deren Verletzung die Beschwerdeführerinnen geltend machten, ordnete es denjenigen werkvertraglicher Natur zu, weshalb es die Haftung der Beklagten 1 nach den werkvertraglichen Vorschriften prüfte. Mangels rechtzeitiger Mängelrüge ging das Handelsgericht davon aus, dass die Beschwerdeführerinnen ihre Mängelrechte gemäss <ref-law> gegenüber der Beklagten 1 verwirkt hätten.
Gegen das Teilurteil des Handelsgerichts vom 17. Dezember 2008 erhoben die Beschwerdeführerinnen kantonale Nichtigkeitsbeschwerde an das Kassationsgericht des Kantons Zürich. Dieses wies die Beschwerde mit Zirkulationsbeschluss vom 26. März 2010 ab, soweit es darauf eintrat.
C. Die Beschwerdeführerinnen beantragen dem Bundesgericht mit Beschwerde in Zivilsachen, das Teilurteil des Handelsgerichts vom 17. Dezember 2008 aufzuheben und die Beklagte 1 unter solidarischer Haftbarkeit mit der Beklagten 2 zu verpflichten, den Beschwerdeführerinnen Fr. 1'500'000.-- zuzüglich Zins seit dem 21. August 2007 zu bezahlen; unter Nachklagevorbehalt. Eventualiter sei die Streitsache an die Vorinstanz zur neuen Entscheidung zurückzuweisen. Den Beschluss des Kassationsgerichts fechten die Beschwerdeführerinnen nicht an.
Die Beschwerdegegnerin beantragt, die Beschwerde abzuweisen. Die Vorinstanz verzichtete auf eine Vernehmlassung.

Erwägungen:
1. Nach <ref-law> beginnt die Beschwerdefrist, wenn der Entscheid eines oberen kantonalen Gerichts mit einem Rechtsmittel, das nicht alle Rügen nach den Artikeln 95-98 zulässt, bei einer zusätzlichen kantonalen Gerichtsinstanz angefochten worden ist, erst mit der Eröffnung des Entscheids dieser Instanz. Die innert 30 Tagen seit Eröffnung des Kassationsgerichtsbeschlusses gegen das Teilurteil des Handelsgerichts eingereichte Beschwerde ist damit rechtzeitig erfolgt.
Damit ein kantonaler Entscheid mit Beschwerde in Zivilsachen angefochten werden kann, muss der Instanzenzug im Kanton erschöpft sein (<ref-law>). Für Rügen, die mit der Beschwerde in Zivilsachen erhoben werden können, darf kein kantonales Rechtsmittel mehr offen stehen (<ref-ruling> E. 1.3 S. 527).
Gegen das angefochtene Teilurteil des Handelsgerichts war die kantonale Nichtigkeitsbeschwerde an das Kassationsgericht des Kantons Zürich nach § 281 der Zivilprozessordnung des Kantons Zürich vom 13. Juni 1976 (ZPO/ZH; LS 271) zulässig, weshalb es insoweit nicht kantonal letztinstanzlich ist, als es vom Kassationsgericht hätte überprüft werden können. Nach <ref-law>/ZH kann mit Nichtigkeitsbeschwerde geltend gemacht werden, der angefochtene Entscheid beruhe zum Nachteil des Nichtigkeitsklägers auf einer Verletzung eines wesentlichen Verfahrensgrundsatzes (Ziff. 1), auf einer aktenwidrigen oder willkürlichen tatsächlichen Annahme (Ziff. 2) oder auf einer Verletzung klaren materiellen Rechts (Ziff. 3). Ausgeschlossen ist die Nichtigkeitsbeschwerde, wenn das Bundesgericht einen Mangel frei überprüfen kann, wobei sie gemäss <ref-law>/ZH stets zulässig ist, wenn eine Verletzung von Art. 8, 9, 29 oder 30 BV oder von Art. 6 EMRK geltend gemacht wird.
Das angefochtene Teilurteil des Handelsgerichts stellt daher insoweit keinen letztinstanzlichen Entscheid dar, als geltend gemacht wird, das Handelsgericht habe darin willkürliche tatsächliche Feststellungen getroffen, den Anspruch der Beschwerdeführerinnen auf rechtliches Gehör verletzt oder kantonale Verfahrensbestimmungen willkürlich angewendet. Soweit die Beschwerdeführerinnen entsprechende Rügen erheben, kann auf die Beschwerde mangels Letztinstanzlichkeit des angefochtenen Teilurteils nicht eingetreten werden.
Soweit die Beschwerdeführerinnen die Verletzung von Bundeszivilrecht rügen, ist das Handelsgerichtsurteil ein letztinstanzlicher Entscheid. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, namentlich ein anfechtbarer Teilentscheid vorliegt (<ref-law>), ist insoweit - unter Vorbehalt einer rechtsgenüglichen Begründung (<ref-law>) - auf die Beschwerde einzutreten.
2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.5).
Gegen das Teilurteil des Handelsgerichts ist einzig die Rüge zulässig, dieses habe bei der Sachverhaltsermittlung <ref-law> verletzt. Vorbehältlich solcher Rügen ist durchwegs vom Sachverhalt auszugehen, wie ihn das Handelsgericht festgestellt hat. Soweit die Beschwerdeführerinnen ihrer Beschwerdebegründung einen davon abweichenden Sachverhalt zugrunde legen, ohne zu begründen, inwiefern <ref-law> verletzt wäre, kann darauf nicht eingetreten werden.
3. Mit Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. <ref-ruling> E. 2.1 S. 245 f.). Auf rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 2.1; <ref-ruling> E. 3.1 S. 399), denn es ist keine letzte Appellationsinstanz, die von den Parteien mit vollkommenen Rechtsmitteln angerufen werden könnte.
Diese Grundsätze lassen die Beschwerdeführerinnen weitgehend ausser Acht, sind ihre Vorbringen doch über weite Strecken appellatorischer Natur. Darauf ist ohne weitere Erwägungen nicht einzutreten. Soweit hinlänglich begründete Rügen einer Bundesrechtsverletzung auszumachen sind, ist dazu Folgendes auszuführen:
4. Die Vorinstanz qualifizierte das Vertragsverhältnis der Parteien als gemischten Vertrag, der überwiegend Verpflichtungen werkvertraglicher Natur, indessen auch solche auftragsrechtlicher Natur enthalte. Die Beschwerdeführerinnen rügen, diese Qualifikation verletze Bundesrecht. Ihrer Ansicht nach überwiegen die auftragsrechtlichen Verpflichtungen.
4.1 Während sich der Unternehmer durch den Werkvertrag zur Herstellung eines Werkes und der Besteller zur Leistung einer Vergütung verpflichtet (<ref-law>), hat der Beauftragte die ihm übertragenen Geschäfte vertragsgemäss zu besorgen (<ref-law>). Das Hauptabgrenzungskriterium zwischen Auftrag und Werkvertrag bildet der Arbeitserfolg, den der Unternehmer im Gegensatz zum Beauftragten schuldet. Nach bundesgerichtlicher Rechtsprechung können sowohl körperliche wie auch unkörperliche Arbeitsergebnisse Gegenstand eines Werkvertrages bilden (<ref-ruling> E. 2a S. 329 mit Hinweisen).
Die rechtliche Einordnung des Architekturvertrags und des - insoweit analog zu beurteilenden - Ingenieurvertrags des Bauwesens kann nicht allgemeingültig vorgenommen werden. Zu Recht weist Gauch darauf hin, dass es den Architekturvertrag oder den Ingenieurvertrag mit stets gleichem Inhalt nicht gibt. Vielmehr ist darauf abzustellen, welche Leistungen die Parteien im konkreten Vertrag vereinbart haben (Peter Gauch, Der Werkvertrag, 4. Aufl. 1996, S. 15 Rz. 48; ebenso Bühler, Zürcher Kommentar, 3. Aufl. 1998, N. 168 zu <ref-law>). Das Bundesgericht qualifiziert den Gesamtvertrag des Architekten als gemischten Vertrag, welcher erlaubt, je nach den konkreten Umständen eine sachgerechte Lösung nach Massgabe des Auftrags- oder Werkvertragsrechts zu finden (<ref-ruling> E. 5.1; <ref-ruling> E. 2a S. 545; <ref-ruling> E. 2b S. 56 mit Hinweisen). Zu den Leistungen werkvertraglicher Natur zählen etwa die selbständige Ausführung von Projektierungsarbeiten, die in einem zu erstellenden Projekt ihren Niederschlag finden, das Verfassen von Plänen und Kostenvoranschlägen, während die Bauleitung und die Vergebung von Arbeiten auftragsrechtlichen Charakter haben (BGE <ref-ruling> E. 2b S. 56; Gauch, a.a.O., S. 16 f. Rz. 49 ff.; Zindel/Pulver, in: Basler Kommentar, Obligationenrecht, 4. Aufl. 2007, N. 17 zu <ref-law>). Die Vereinbarung, mit der sich ein Geometer verpflichtet, ein Grundstück zu vermessen und die Messwerte in einen Situationsplan einzutragen, untersteht den Regeln des Werkvertrags (<ref-ruling> E. 3c S. 38). Der Vorinstanz ist sodann beizupflichten, dass Ingenieurleistungen, bei denen ein mess- und objektivierbarer Erfolg geschuldet ist, dem Werkvertragsrecht zu unterstellen sind. Entsprechend wendete das Bundesgericht auf Ingenieurleistungen wie etwa Vorarbeiten, Vorstudien, Vorprojekte, Ausführungspläne und Ausschreibungsunterlagen Werkvertragsrecht an (<ref-ruling> E. 2e S. 46).
Das Bundesgericht hielt sodann fest, dass eine Spaltung der Rechtsfolgen denkbar ist, indem sich etwa die Haftung für einen Planungsfehler nach werkvertraglichen Regeln, jene für unsorgfältige Bauleitung nach auftragsrechtlichen Regeln richten kann (<ref-ruling> E. 3d S. 466).
4.2 Die Vorinstanz nahm einen gemischten Vertrag an und ordnete die im Leistungsbeschrieb des Angebots Geotechnik aufgelisteten und Inhalt des Vertrags vom 16. Dezember 2004 bildenden Leistungen wie folgt den werkvertraglichen bzw. auftragsrechtlichen Elementen zu:
- Werkvertrag: In der Phase der Projektierung die boden- und felsmechanischen Stabilitätsberechnungen (Tragfähigkeit, Setzungen Stabilität), die Bemessung der Baugruben- und Hangsicherung, das Zeichnen von schematischen geotechnischen Schnitten, die Ausarbeitung eines Überwachungskonzepts und die Mitverantwortung für die Zweckmässigkeit und Wirtschaftlichkeit der Konstruktionen. In der Phase der Realisierung die Verifizierung der den boden- und felsmechanischen Berechnungen zugrunde gelegten Kennwerte und Modelle sowie Kontrollrechnungen.
- Auftrag: In der Phase der Projektierung die Teilnahme an Begehungen und Besprechungen, Archivarbeiten und Aktenstudium, die Mitarbeit bei der Bereinigung von Nachtragsofferten und die eventuelle Teilnahme an Unternehmergesprächen. In der Phase der Realisierung die Begleitung der Tiefbauarbeiten, die Beurteilung der Bauabläufe, die Rapportierung über Feststellungen bezüglich Bauausführung und Kommentierung der Messergebnisse der Überwachung, die Mitwirkung bei der Lösung anstehender Probleme und das eventuelle Verfassen von fachspezifischen Protokollen.
4.3 Diese von der Vorinstanz vorgenommene rechtliche Qualifikation des Vertrags vom 16. Dezember 2004 stimmt mit den oben dargestellten Grundsätzen überein. Die Beschwerdeführerinnen zeigen mit ihrer ausführlichen Darstellung der eigenen Sicht der Dinge keine Bundesrechtsverletzung durch die Vorinstanz bei der Vertragsqualifikation auf.
Namentlich spielt es keine Rolle, wie die Parteien den Vertrag bezeichneten bzw. von welcher Qualifikation sie ausgingen. Die rechtliche Einordnung des Vertrags ist Sache des Richters und daher dem Parteiwillen entzogen. Das folgt aus dem Grundsatz "iura novit curia"; der Richter hat nach Massgabe des festgestellten Sachverhalts das Recht von Amtes wegen anzuwenden, ohne an die Rechtsauffassungen der Parteien gebunden zu sein (Urteil 4C.216/1994 vom 21. März 1995 E. 1d). Unerheblich ist ferner, wie die technische Expertin, die T._ AG, die Leistungen der Beschwerdegegnerin qualifizierte. Die Rechtsfrage der Vertragsqualifikation entzieht sich der Beurteilung eines technischen Gutachters.
Die Beschwerdeführerinnen berufen sich auf das Urteil des Bundesgerichts 4C.284/2006 vom 7. November 2006, das ebenfalls einen Ingenieurvertrag betraf. Das Bundesgericht prüfte dort, ob die beklagte Ingenieurfirma die allgemeine Sorgfalts- und Treuepflicht nach Art. 1.4.1 der SIA-Ordnung 103 verletzt hatte, indem sie trotz erkannter Untauglichkeit der Unternehmervariante die Bauherrschaft nicht auf die daraus resultierenden Gefahren aufmerksam gemacht hatte (E. 2.3). Das Bundesgericht führte jedoch keine Erwägungen zur Vertragsqualifikation an und nahm keine Zuordnung der einzelnen Elemente des Vertrags zum Auftrags- bzw. Werkvertragsrecht vor. Da es auf den konkreten Inhalt des Ingenieurvertrags ankommt und nicht ersichtlich ist, dass der Ingenieurvertrag, der dem Urteil 4C.284/2006 zugrunde liegt, und der vorliegende Vertrag inhaltlich übereinstimmen, können die Beschwerdeführerinnen aus dem von ihnen angerufenen Urteil nichts für ihren Standpunkt ableiten.
Es trifft sodann - entgegen der Auffassung der Beschwerdeführerinnen - nicht zu, dass die Vorinstanz den vorliegenden Vertrag einheitlich als Werkvertrag qualifiziert hätte. Vielmehr ging sie von einem gemischten Vertrag aus, wobei sie einzelne Elemente dem Werkvertragsrecht, andere dem Auftrag unterstellte. Die Beschwerdeführerinnen werfen der Vorinstanz vor, sie habe die der Beschwerdegegnerin vorgeworfene Verletzung von auftragsrechtlichen Pflichten nicht geprüft. Die Beschwerdeführerinnen sind nicht zu hören, wenn sie weiterhin auf ihrer Behauptung beharren, der Beschwerdegegnerin habe die Bauleitung oblegen und sie habe damit verbundene Pflichten verletzt. Nach den verbindlichen Feststellungen der Vorinstanz findet sich im Vertrag vom 16. Dezember 2004 keine Verpflichtung der Beschwerdegegnerin zur Bauleitung. Von dieser Feststellung ist mangels zulässiger Sachverhaltsrügen auszugehen (Erwägung 2). Hatte die Beschwerdegegnerin keine Pflicht zur Bauleitung, brauchte die Vorinstanz auch nicht (nach auftragsrechtlichen Regeln) zu prüfen, ob eine solche Pflicht verletzt wurde. Der Vorwurf, die Vorinstanz habe darüber hinweggesehen und damit die Vorschriften des Auftrags- und Werkvertragsrechts verletzt, geht daher fehl.
Im Zusammenhang mit der Behauptung, die Beschwerdegegnerin sei zur Bauleitung verpflichtet gewesen, bringen die Beschwerdeführerinnen vor, sie hätten zum mündlichen Vertragsabschluss Beweisanträge gestellt. Diese seien nicht abgenommen worden, womit die Vorinstanz <ref-law> verletzt habe. Auf diesen pauschalen, nicht weiter begründeten Vorwurf kann nicht eingetreten werden. Er ist zudem kaum verständlich. Denn die Vorinstanz hat den mündlichen Vertragsabschluss am 22./29. November 2004 gar nicht in Abrede gestellt. Von den Beschwerdeführerinnen wird indessen nicht dargelegt und auch nicht mit Aktenstellen belegt, dass sie zum Inhalt des mündlichen Vertragsabschlusses Behauptungen erhoben und welche Beweisanträge sie dazu gestellt hätten. Die Beschwerdeführerinnen reichen dem Bundesgericht das Beweisverhandlungsprotokoll vom 7. Dezember 2009 im Verfahren vor Handelsgericht gegen die Beklagte 2 ein. Mit einzelnen dort protokollierten Aussagen wollen sie die Feststellung der Vorinstanz widerlegen, dass ein gemeinsamer übereinstimmender Wille hinsichtlich der Projektierung der Hangsicherung und der Verantwortung der Beschwerdegegnerin für die Ausführbarkeit der Hangsicherung mit Selbstbohr-Vollverbundankern nicht behauptet sei. Vor Bundesgericht dürfen jedoch neue Tatsachen und Beweismittel nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Diese Voraussetzung trifft vorliegend nicht zu, weshalb das neu eingereichte Beweisverhandlungsprotokoll vom 7. Dezember 2009 nicht berücksichtigt werden kann.
Was schliesslich die Kritik gegen die vorinstanzliche Zuordnung der einzelnen im Leistungsbeschrieb des Angebots Geotechnik enthaltenen Aufgaben zum Werkvertrag bzw. Auftrag anbelangt, so vermögen die Beschwerdeführerinnen auch damit keine Bundesrechtsverletzung darzutun. Sie unterbreiten dem Bundesgericht im Wesentlichen lediglich ihre eigene Sicht der Dinge, wobei sie ihren Darlegungen teilweise einen vom angefochtenen Teilurteil abweichenden oder frei ergänzten Sachverhalt zugrunde legen. Unzutreffend argumentieren sie sodann, wenn sie meinen, Leistungen, die zu einem nicht-körperlichen Resultat führen, dürften nicht dem Werkvertragsrecht unterstellt werden (vgl. Erwägung 4.1). Entscheidend ist, ob die dem Werkvertrag zugeordneten Arbeiten zu einem Resultat führen, das nach objektiven Kriterien überprüft und somit als Erfolg versprochen werden kann. Dass dies auf die von der Vorinstanz dem Werkvertragsrecht unterstellten Arbeiten nicht zutreffen soll, zeigen die Beschwerdeführerinnen nicht, jedenfalls nicht rechtsgenügend, auf und ist nicht ersichtlich. Am ehesten könnte die werkvertragliche Natur für den Punkt der Mitverantwortung für die Zweckmässigkeit und Wirtschaftlichkeit der Konstruktionen zweifelhaft sein. Hier überzeugt aber die Überlegung der Vorinstanz, dass aus Gründen der Koordination zwischen Ingenieur- und Bauleistungen eine einheitliche Subsumtion unter das Werkvertragsrecht angezeigt sein kann (S. 23 des Urteils der Vorinstanz mit Hinweis auf Bühler, a.a.O., N. 173 zu <ref-law>), allerdings nur, soweit die Anwendung der werkvertraglichen Gewährleistungsregeln mit den strengen Prüfungs- und Rügeobliegenheiten (<ref-law>) nicht als unsachgerecht erscheint. Letzteres ist für den strittigen Punkt nicht dargetan. Die Zweckmässigkeit und Wirtschaftlichkeit der Konstruktionen kann als Erfolg garantiert werden. Entsprechend rechtfertigt es sich, auch die Mitverantwortung für das Erreichen dieses Erfolgs dem Werkvertrag zu unterstellen.
4.4 Zusammenfassend ist die von der Vorinstanz vorgenommene Vertragsqualifikation bundesrechtlich nicht zu beanstanden. Die der Beschwerdegegnerin vorgeworfenen Pflichtverletzungen, das heisst die Wahl des falschen Ankerkonzeptes (auch) durch die Beschwerdegegnerin und deren falsche Berechnung der Hangsicherung unter Weitergabe falscher Weisungen an die Beklagte 2 (Mitverantwortung für die Zweckmässigkeit der Konstruktionen und Bemessung der Baugruben- und Hangsicherung, Stabilitätsberechnungen), die Unterlassung der Verifizierung der Bemessung des angenommenen Ankerwiderstandes sowie der fehlende Sicherheits-, Kontroll- und Überwachungsplan betreffen allesamt Pflichten werkvertraglicher Natur. Daher ist es folgerichtig, wenn die Vorinstanz die Haftung der Beschwerdegegnerin nach den werkvertraglichen Regeln prüfte.
5. 5.1 Nach Ablieferung des Werkes hat der Besteller, sobald es nach dem üblichen Geschäftsgange tunlich ist, dessen Beschaffenheit zu prüfen und den Unternehmer von allfälligen Mängeln in Kenntnis zu setzen (<ref-law>). Wird das abgelieferte Werk vom Besteller ausdrücklich oder stillschweigend genehmigt, so ist der Unternehmer von seiner Haftpflicht befreit, soweit es sich nicht um Mängel handelt, die bei der Abnahme und ordnungsmässigen Prüfung nicht erkennbar waren oder vom Unternehmer absichtlich verschwiegen wurden (<ref-law>). Stillschweigende Genehmigung wird angenommen, wenn der Besteller die gesetzlich vorgesehene Prüfung und Anzeige unterlässt (<ref-law>). Treten die Mängel erst später zu Tage, so muss die Anzeige sofort nach der Entdeckung erfolgen, widrigenfalls das Werk auch rücksichtlich dieser Mängel als genehmigt gilt (<ref-law>).
5.2 Nach den Feststellungen der Vorinstanz waren die Arbeiten der Beklagten 2 am 22. Dezember 2004 tatsächlich abgeschlossen und am 3. Januar 2005 für die Beschwerdeführerinnen erkennbar vollendet. Die Zusatzarbeiten waren am 28. Januar 2005 beendet. Die Vorinstanz erwog, die Beschwerdegegnerin sei mindestens bis am 3. Januar 2005 und längstens bis am 28. Januar 2005 in die Projektierung und Realisierung der vertraglich vereinbarten Hangsicherung involviert gewesen. Der genaue Tag der Vollendung der werkvertraglichen Leistungen der Beschwerdegegnerin spiele dabei keine Rolle. Spätestens am 28. Januar 2005 sei die Hangsicherung seitens der Beschwerdegegnerin jedenfalls abgeliefert bzw. seitens der Beschwerdeführerinnen abgenommen (nicht aber genehmigt) gewesen.
5.3 Die Ablieferung des Werkes setzt voraus, dass das Werk vollendet ist (<ref-ruling> E. 4 in fine S. 149). Das Werk ist vollendet, wenn der Unternehmer alle vereinbarten Arbeiten ausgeführt hat, das Werk also fertiggestellt ist. Ob es mängelfrei ist, spielt dagegen keine Rolle. Abgeliefert wird es durch die Übergabe oder durch die Mitteilung des Unternehmers, es sei vollendet. Der Ablieferung entspricht, vom Besteller aus gesehen, die Abnahme des Werkes. Ein besonderer Abnahmewille des Bestellers oder seines Vertreters ist deshalb nicht erforderlich. Klar zu unterscheiden ist die Abnahme von der Genehmigung, mit welcher der Besteller gegenüber dem Unternehmer seinen Willen äussert, das abgelieferte Werk als vertragsgemäss erstellt gelten zu lassen (<ref-ruling> E. 4 S. 458 f.; Urteile 4C.469/2004 vom 17. März 2005 E. 2.2; 4C.540/1996 vom 17. Oktober 1997 E. 2a; je mit Hinweisen).
5.4 Die Begriffe der Ablieferung und Abnahme sowie der Vollendung des Werkes als Voraussetzung für die Ablieferung resp. Abnahme sind rechtlicher Natur. Folgerichtig kann das Bundesgericht überprüfen, ob die Vorinstanz diese Rechtsbegriffe richtig erkannt hat. Hingegen beschlägt die Frage, ob die rechtlich relevanten Voraussetzungen in tatsächlicher Hinsicht gegeben sind, den Sachverhalt, der im vorliegenden Verfahren einer bundesgerichtlichen Überprüfung grundsätzlich entzogen ist (vgl. Erwägung 2). Diese Differenzierung lassen die Beschwerdeführerinnen in ihrer weitgehend appellatorischen Kritik gegen die vorinstanzliche Bejahung der erfolgten Vollendung und Ablieferung des Werkes teilweise ausser Acht. Zu beurteilen sind einzig die Vorbringen, die - rechtsgenügend begründet - eine Verletzung von Bundesrecht, namentlich einer Verkennung der bundesrechtlichen Begriffe der Vollendung, Ablieferung bzw. Abnahme des Werkes, erkennen lassen.
5.4.1 Die Beschwerdeführerinnen werfen der Vorinstanz vor, nicht ausgeführt und begründet zu haben, welches Werk die Beschwerdegegnerin vollendet und "als Vertragserfüllung verfügbar hingestellt habe". Dem angefochtenen Urteil ist indes zu entnehmen, dass es um die Aufgaben gemäss Vertrag vom 16. Dezember 2004 sowohl bei der Projektierung als auch bei der Realisierung der von der Beklagten 2 ausgeführten Hangsicherung ging.
5.4.2 Die Beschwerdeführerinnen argumentieren, nur ein vollendetes Werk könne abgeliefert werden. Die ausgeführte Hangsicherung mit Selbstbohr-Vollverbundankern sei indessen völlig unzureichend und unbrauchbar gewesen. Unter diesen Umständen habe die Beschwerdegegnerin das Werk nicht im Sinne der Vollendung (erfüllungshalber) anbieten können. Die von der Beschwerdegegnerin erbrachten Leistungen hätten für die Beschwerdeführerinnen keinerlei Wert gehabt. Ihre Leistungen seien mangelhaft gewesen und dies habe den Schaden (mit)verursacht. Die Vorinstanz vertrete die völlig verfehlte Ansicht, dass die Beschwerdeführerinnen dieses untaugliche, nicht vollendete, ja nie gebrauchsfähige Werk erfüllungshalber abgenommen hätten.
Die Vollendung ist zu unterscheiden von der Mängelfreiheit des Werkes. Ein Werk kann mit einem Mangel behaftet und dennoch vollendet sein. Die Mängelfreiheit des Werkes bildet keine Voraussetzung für dessen Ablieferung und Abnahme (<ref-ruling> E. 4 S. 458). Die Mangelhaftigkeit des Werkes hindert die Ablieferung und Abnahme nicht, gleichgültig von welcher Art die Mängel sind (Gauch, a.a.O., S. 31 Rz. 106). Der Umstand, dass die ausgeführte Hangsicherung mit Selbstbohr-Vollverbundankern nicht zum Erfolg führte und nach Auffassung der Beschwerdeführerinnen unbrauchbar gewesen sein soll, bedeutet, dass das Werk mangelhaft war, hindert aber nicht, von einer Vollendung und Ablieferung bzw. Abnahme des Werkes auszugehen. Der Vorinstanz ist daher in diesem Zusammenhang keine Verkennung des bundesrechtlichen Begriffs der Vollendung vorzuwerfen. Ohnehin hatte die Beschwerdegegnerin nicht die Ausführung der Hangsicherung zu erbringen, sondern sie schuldete die Leistungen gemäss Vertrag vom 16. Dezember 2004 bei der Projektierung und Realisierung der von der Beklagten 2 ausgeführten Hangsicherung. Dass sie diese Leistungen nach den Behauptungen der Beschwerdeführerinnen nur mangelhaft erbrachte, steht der Bejahung der Vollendung und Ablieferung bzw. Abnahme des Werkes nach dem Ausgeführten nicht entgegen und die Vorinstanz hat auch insofern den bundesrechtlichen Begriff der Vollendung nicht verkannt.
5.4.3 Da es demnach für die Frage der Vollendung nicht darauf ankommt, ob das Werk mit Mängeln behaftet ist, verletzte die Vorinstanz auch den Beweisführungsanspruch nach <ref-law> nicht, wenn sie zu der behaupteten Mangelhaftigkeit bzw. Unbrauchbarkeit der beschwerdegegnerischen Leistungen keinen Beweis abnahm.
5.4.4 Weiter bringen die Beschwerdeführerinnen verschiedentlich vor, die Beschwerdegegnerin habe eine bestimmte Behauptung gar nicht erhoben oder eine von ihnen aufgestellte Behauptung nicht bestritten, was die Vorinstanz übergangen habe. So rügen sie etwa, eine Vollen-dung des Werkes sei nie behauptet worden und die Behauptung der Beschwerdeführerinnen, das Werk sei nicht abgenommen worden, sei unbestritten. Diese Rügen betreffen eine Verletzung der kantonalrechtlichen Verhandlungsmaxime (<ref-law>/ZH). Sie konnten dem Kassationsgericht unterbreitet werden und die Beschwerdeführerinnen sind mit ihnen vor Bundesgericht nicht zu hören (vgl. Erwägung 1).
5.4.5 Wenn die Beschwerdeführerinnen schliesslich rügen, die Vorinstanz habe die Ablieferung bzw. Abnahme des Werkes ohne genügende Begründung bejaht, kann darauf vorliegend nicht eingetreten werden. Die Verletzung der aus dem Gehörsanspruch fliessenden Begründungspflicht (<ref-law>) war zwecks Ausschöpfung des kantonalen Instanzenzugs vor dem Kassationsgericht geltend zu machen (vgl. Erwägung 1). Wenn das Kassationsgericht auf entsprechende Rügen zu Unrecht nicht eintrat, hätte dies mittels Beschwerde gegen den kassationsgerichtlichen Beschluss vorgebracht werden müssen, führt aber nicht dazu, dass das Bundesgericht auf entsprechende Rügen gegen das Urteil des Handelsgerichts einzutreten hätte (vgl. Urteil 4A_141/2008 vom 8. Dezember 2009 E. 13.3).
5.5 Zusammenfassend zeigen die Beschwerdeführerinnen keine Verletzung von Bundesrecht im Zusammenhang mit der vorinstanzlichen Bejahung der Vollendung, Ablieferung bzw. Abnahme des Werkes auf.
6. 6.1 Bei der Prüfung, ob die Beschwerdeführerinnen gegenüber der Beschwerdegegnerin eine rechtzeitige Mängelrüge erhoben haben, ging die Vorinstanz bezüglich der behaupteten Mängel der Planung und Berechnung der Hangsicherung von geheimen Mängeln im Sinne von <ref-law> aus, da diese erst im Zeitpunkt der Vollendung der Hangsicherung oder sogar noch später, bei Erhalt der Ergebnisse der Spannproben und bei Erhalt des Gutachtens der T._ AG, zutage getreten seien. Unverzüglich nach Erhalt des Privatgutachtens der T._ AG am 10. Oktober 2005 hätten die Beschwerdeführerinnen die geheimen Mängel der Hangsicherung gegenüber der Beschwerdegegnerin spätestens rügen müssen. Die Beschwerdeführerinnen behaupteten nicht, dass sie die der Beschwerdegegnerin vorgeworfenen Mängel dieser gegenüber jemals gerügt hätten, und stellten erst recht keine für die Berufung auf geheime Mängel nötigen Tatsachenbehauptungen auf. Die Vorinstanz prüfte trotzdem, ob in den drei Schreiben vom 30. Dezember 2004, vom 22. März 2006 und vom 3. Mai 2006, auf welche die Beschwerdeführerinnen Bezug genommen hatten, eine rechtzeitige und hinreichend detaillierte Mängelrüge zu erblicken sei, was sie verneinte.
6.2 Für geheime Mängel schreibt <ref-law> vor, dass der Besteller sie sofort nach Entdeckung anzeigen muss, widrigenfalls das Werk auch rücksichtlich dieser Mängel als genehmigt gilt. Die Anzeige der Mängel ist an keine besondere Form gebunden. Inhaltlich muss die Rüge sachgerecht substanziiert sein, zumindest die Mängel genau angeben und zum Ausdruck bringen, dass der Besteller das Werk nicht als vertragsgemäss anerkennen und den Unternehmer haftbar machen will (<ref-ruling> E. 1a S. 175). Die Rügefrist beginnt mit der Entdeckung des Mangels zu laufen. Erkannt sind geheime Mängel, sobald der Besteller über deren Vorliegen Gewissheit hat, das heisst wenn er vom Mangel eine solche Kenntnis erlangt hat, dass er eine genügend substanziierte Rüge erheben kann (<ref-ruling> E. 3b S. 148). Will der Besteller aus <ref-law> Rechte ableiten, so hat er nach der allgemeinen Regel des <ref-law> die Rechtzeitigkeit der Rüge darzutun. Dazu gehört auch der Beweis, wann der gerügte Mangel für ihn erkennbar geworden ist, wie und wem er ihn mitgeteilt hat (<ref-ruling> E. 1a S. 176; <ref-ruling> E. 3a S. 147).
6.3 Auch in diesem Punkt erschöpfen sich die Ausführungen der Beschwerdeführerinnen weitgehend in appellatorischer Kritik, auf die nicht eingetreten werden kann. Sie bezeichnen die Annahme der Vorinstanz, dass sie nicht behauptet hätten, die der Beschwerdegegnerin vorgeworfenen Mängel je gerügt zu haben, als unzutreffend und unterbreiten dem Bundesgericht in der Folge einen frei ergänzten Sachverhalt, aus dem sie verschiedentlich ableiten, eine Mängelrüge erhoben und der Beschwerdegegnerin angezeigt zu haben. So behaupten sie namentlich, das Gutachten der T._ AG sei durch die Vertreterin der Beschwerdeführerinnen, die U._ Versicherung, der Beschwerdegegnerin zugestellt worden, womit eine rechtzeitige Mängelrüge erhoben worden sei. Das Bundesgericht ist indessen an den vorinstanzlich festgestellten Sachverhalt gebunden und kann einen davon abweichenden oder ergänzten Sachverhalt mangels zulässiger Sachverhaltsrügen nicht berücksichtigen. Die Rüge, die Vorinstanz habe die Zustellung des Privatgutachtens der T._ AG ihrem Urteil nicht zugrunde gelegt, obwohl die Zustellung nicht nur behauptet, sondern durch Einreichung der entsprechenden Begleitschreiben der U._ Versicherung nachgewiesen worden sei, hätten die Beschwerdeführerinnen dem Kassationsgericht unterbreiten müssen. Vor Bundesgericht können sie damit nicht gehört werden (vgl. Erwägung 1 f.).
6.4 Inwiefern die Vorinstanz auf der Grundlage des verbindlich festgestellten Sachverhalts gemäss angefochtenem Teilurteil Bundesrecht verletzt haben soll, indem sie das Vorliegen einer rechtsgenüglichen und rechtzeitigen Mängelrüge an die Beschwerdegegnerin verneinte, tun die Beschwerdeführerinnen nicht dar. So ist es bundesrechtlich nicht zu beanstanden, wenn die Vorinstanz davon ausging, dass die Beschwerdeführerinnen spätestens mit dem Erhalt des Privatgutachtens der T._ AG am 10. Oktober 2005 hinreichende Kenntnis von den geheimen Mängeln der Hangsicherung hatten, um gegenüber der Beschwerdegegnerin eine substanziierte Mängelrüge erheben zu können. In Anbetracht der Rechtsprechung zur Unverzüglichkeit der Mängelrüge, nach welcher das Bundesgericht grundsätzlich eine siebentägige Rügefrist für angemessen hält (Urteil 4C.82/2004 vom 3. Mai 2004 E. 2.3 mit Hinweis), kann der Vorinstanz jedenfalls keine Verletzung von Bundesrecht vorgeworfen werden, wenn sie die rund fünfeinhalb bzw. rund sieben Monate nach Erhalt des Privatgutachtens der T._ AG verfassten Schreiben des Rechtsvertreters der Beschwerdeführerinnen vom 22. März 2006 und vom 3. Mai 2006 - unbesehen ihres Inhalts - als verspätet betrachtete. Wenn die Beschwerdeführerinnen vortragen, mit Schreiben vom 3. Mai 2006 sei ein neu entdeckter Mangel gerügt worden, den die T._ AG gar nie beurteilt habe, weshalb die Vorinstanz in Verkennung der tatsächlichen Verhältnisse angenommen habe, es sei auch zu diesem neu entdeckten Mangel keine rechtzeitige Mängelrüge erhoben worden, so beanstanden sie - richtig besehen - die vorinstanzliche Sachverhaltsfeststellung, aber nicht die Anwendung von Bundesrecht. Die Vorinstanz stellte nämlich zu diesem Schreiben (und zu demjenigen vom 22. März 2006) fest, es betreffe lediglich Stützmassnahmen ober- und unterhalb des Hauses V._, nicht aber die eigentliche Hangsicherung, welche Gegenstand dieses Prozesses bilde. Wenn diese Feststellung nach Meinung der Beschwerdeführerinnen unzutreffend ist, hätten sie eine entsprechende Rüge beim Kassationsgericht erheben müssen. Vor Bundesgericht können sie damit nicht gehört werden (vgl. Erwägung 1 f.) und eine Bundesrechtsverletzung ist mit diesem Vorbringen nicht dargetan.
Die Vorinstanz qualifizierte auch das Schreiben vom 30. Dezember 2004 bundesrechtskonform nicht als rechtsgenügende Mängelrüge, allein schon deshalb, weil ihm entgegen der anderslautenden Behauptung der Beschwerdeführerinnen keine für ein hinlängliches Rügeschreiben notwendige Willenskundgabe zu entnehmen sei, dass die Beschwerdeführerinnen die Beschwerdegegnerin für konkret gerügte Mängel haftbar machen wollen. Der vorinstanzlichen Interpretation ist beizupflichten, dass die Beschwerdegegnerin das Schreiben als Warnung für die Zukunft verstehen musste, indem die Beschwerdeführerinnen ihre Beunruhigung über die gegenwärtigen inakzeptablen Hangbewegungen zum Ausdruck brachten und die Beschwerdegegnerin zur Wahrnehmung ihrer spezifischen Verantwortung für die Dimensionierung und Bauabläufe mahnten, wobei sie wissen wollten, ob und welche weiteren Weisungen sie für vorsorgliche Massnahmen zu erteilen gedenke. Eine rechtsgenügende Mängelrüge kann darin nicht erblickt werden.
6.5 Die Beschwerdeführerinnen wenden schliesslich ein, die Beschwerdegegnerin habe gar nicht behauptet, es sei keine rechtzeitige Mängelrüge erhoben worden, was die Vorinstanz übergangen habe. Dieses Vorbringen betrifft die kantonalrechtliche Verhandlungsmaxime, weshalb vorliegend darauf nicht eingetreten werden kann (vgl. Erwägungen 1 und 5.4.4).
6.6 Zusammenfassend hat die Vorinstanz das Vorliegen einer rechtzeitigen Mängelrüge ohne Verletzung von Bundesrecht verneint. Zu Recht nahm sie demnach eine Verwirkung der Mängelrechte der Beschwerdeführerinnen an, was zur Abweisung der Klage führte.
7. Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang werden die Beschwerdeführerinnen unter solidarischer Haftbarkeit kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und 5 sowie Art. 68 Abs. 2 und 4 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 12'000.-- werden den Beschwerdeführerinnen unter solidarischer Haftbarkeit auferlegt.
3. Die Beschwerdeführerinnen haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren unter solidarischer Haftbarkeit mit Fr. 14'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 25. November 2010
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Die Gerichtsschreiberin:
Klett Sommer