Sachverhalt:
A. Der zwischenzeitlich pensionierte A._ (Beschwerdegegner) führte in Y._ ein Ingenieurbüro als Einzelfirma. Die Stadt X._ (Beschwerdeführerin) übertrug dem Beschwerdegegner im Januar 2006 die Bauingenieurarbeiten beim Neubau des Schulhauses Q._. Der Vertrag vom 16./20. Januar 2006 umfasste die ingenieurtechnische Bearbeitung der Tragkonstruktion sowie die Ausführungsplanung und Überwachung der Realisierung des Bauvorhabens gemäss beigelegtem Leistungsbeschrieb. Vertragsgrundlage bildete die SIA-Norm 103 (Ausgabe 2003) für Leistungen und Honorare der Bauingenieure und Bauingenieurinnen. Als Honorar wurden pauschal Fr. 100'000.-- zuzüglich Mehrwertsteuer vereinbart.
Nach Beginn der Bauarbeiten liess die Baumeisterin (S._ Bauunternehmung AG) die Statik des Schulhauses durch den von ihr beauftragten Bauingenieur B._ überprüfen. Gestützt auf dessen Abklärungen mahnte sie mit Schreiben von 6. Oktober 2006 ungenügende Armierungen und die Verletzung von Betonnormen im Sinne von Art. 25 Abs. 3 SIA-Norm 118 ab. An dieser Abmahnung hielt die Baumeisterin auch nach einer Besprechung vom 11. Oktober 2006 fest. Am 23. Oktober 2006 teilte der Bauleiter C._ der Beschwerdeführerin seine Bedenken betreffend Rissbildung mit und erinnerte daran, dass in den Ausführungsplänen des Beschwerdegegners eine Stütze gefehlt habe. Daraufhin verhängte die Beschwerdeführerin einen partiellen Baustopp und beauftragte das Ingenieurbüro D._ mit der Überprüfung der Statik des Schulhauses Q._ und der Aussagen des Bauingenieurs B._. Am 31. Oktober 2006 erstattete D._ einen Vorabzug seines Berichts. Gleichentags ordnete die Beschwerdeführerin die komplette Einstellung der Bauarbeiten an. Am 14. November 2006 reichte der Beschwerdegegner eine mit Schreiben vom 2. November 2006 verlangte Stellungnahme zum Prüfungsbericht von D._ ein. In der Zwischenzeit hatte die Beschwerdeführerin das R._ Ingenieurbüro AG beauftragt, eine umfassende statische Überprüfung des Gebäudes vorzunehmen. Die R._ Ingenieurbüro AG lieferte am 4. Dezember 2006 einen ersten Zwischenbericht und am 12. Dezember 2006 einen Kurzbericht ab, worin neun Punkte in Zusammenhang mit der Tragfähigkeit und drei Punkte im Zusammenhang mit der Gebrauchsfähigkeit bemängelt wurden. Am 14. Dezember 2006 kündigte die Beschwerdeführerin den Ingenieurvertrag mit dem Beschwerdegegner fristlos. Am 11. Januar 2007 erstattete die R._ Ingenieurbüro AG einen definitiven Prüfungsbericht, den die Beschwerdeführerin u.a. als Grundlage für einen eigenen stadtinternen Bericht vom 12. Januar 2007 beizog. Der Beschwerdegegner und seine Haftpflichtversicherung gaben ihrerseits die Abklärung in Auftrag, ob die von der Beschwerdeführerin verhängten Massnahmen und die damit verbundenen Verzögerungen und Mehrkosten tatsächlich auf ein Fehlverhalten des Beschwerdegegners zurückzuführen seien. Weitere Gespräche der Parteien führten zu keiner Einigung.
B. Am 20. November 2008 reichte die Beschwerdeführerin beim Handelsgericht des Kantons Zürich Klage ein mit dem Antrag, der Beschwerdegegner sei zu verpflichten, der Beschwerdeführerin den Betrag von Fr. 729'839.30 nebst Verzugszinsen zu 5 % seit 6. Oktober 2007 zu bezahlen. Der Beschwerdegegner erhob Widerklage, wonach die Beschwerdeführerin ihm Fr. 107'600.-- (Honorar), Fr. 8'468.10 (vorprozessuale Anwaltskosten) und Fr. 124'556.-- (Expertisekosten), je nebst Zins, zu bezahlen habe.
Mit Urteil vom 17. November 2011 wies das Handelsgericht die Klage und ebenso die Widerklage ab. Es erwog zur Abweisung der Klage, soweit die Beschwerdeführerin ihre Klage damit begründe, dass der Beschwerdegegner die Statik des Schulhauses nicht normenkonform und den anerkannten Regeln seines Fachgebietes entsprechend errechnet habe, habe sie das Werk infolge verspäteter Rüge der Planfehler stillschweigend genehmigt. Auch die weiteren geltend gemachten Vertragsverletzungen hielt das Handelsgericht für nicht gegeben.
C. Die Beschwerdeführerin beantragt mit Beschwerde in Zivilsachen, das Urteil des Handelsgerichts sei mit Bezug auf die Ziffern 1 (Klageabweisung) sowie 3 bis 5 (Kosten und Parteientschädigung) des Dispositivs aufzuheben, und es seien die Rechtsbegehren der Beschwerdeführerin vor der Vorinstanz gutzuheissen, nämlich: Der Beschwerdegegner sei zu verpflichten, der Beschwerdeführerin den Betrag von Fr. 729'839.30 nebst Verzugszinsen zu 5 % seit 6. Oktober 2007 zu bezahlen. Eventualiter beantragte sie, die Sache sei zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Der Beschwerdegegner beantragt, die Anträge der Beschwerdeführerin abzuweisen und das Urteil des Handelsgerichts vollumfänglich zu bestätigen. Die Vorinstanz verzichtete auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Das angefochtene Urteil des Handelsgerichts ist ein Endentscheid, gegen den die Beschwerde zulässig ist (<ref-law>). Das Handelsgericht hat als einzige kantonale Instanz im Sinne von <ref-law> entschieden. Sodann übersteigt der Streitwert die Grenze nach <ref-law>. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde - unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und <ref-law>) - grundsätzlich einzutreten.
1.2 Die Beschwerdeführerin weist darauf hin, dass sie im Zusammenhang mit dem Neubau des Schulhauses Q._ einen zweiten Prozess gegen den Beschwerdegegner führe, in dem sie ihn solidarisch mit der S._ Bauservice AG für weitere Vertragsverletzungen haftbar mache (Verfahren 4A_55/2012). Da die beiden Beschwerden in engem sachlichen und rechtlichen Zusammenhang stünden, werde die gemeinsame Bearbeitung beantragt.
Die gleichzeitige Bearbeitung der konnexen Fälle erscheint sinnvoll und greift Platz. Demgegenüber muss die Vereinigung der beiden Beschwerdeverfahren und die Beurteilung in einem einzigen Entscheid ausscheiden, da nicht durchwegs die gleichen Parteien involviert sind. Die Beschwerdeführerin beantragt denn auch nicht, die Verfahren seien zu vereinigen.
2. 2.1 Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht kann das Bundesgericht nur insofern prüfen, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 1.3.1; <ref-ruling> E. 2.2; <ref-ruling> E. 3.2 S. 444).
Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. BGE <ref-ruling> E. 2.1).
2.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>).
Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (vgl. <ref-ruling> E. 1.2; <ref-ruling> E. 1.4.3; <ref-ruling> E. 1.3, S. 351, 393 E. 7.1, 462 E. 2.4). Soweit der Beschwerdeführer den Sachverhalt ergänzen will, hat er zudem mit Aktenhinweisen darzulegen, dass er entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (Urteile 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: <ref-ruling>; 4A_470/2009 vom 18. Februar 2010 E. 1.2). Überdies ist in der Beschwerde darzutun, inwiefern die Behebung des gerügten Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>; <ref-ruling> E. 2.2.2). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (BGE <ref-ruling> E. 1.4.3).
2.3 Zu betonen ist, dass das Bundesgericht auch im Rahmen von Beschwerden gegen Urteile der Handelsgerichte keine Appellationsinstanz ist, die sämtliche Rechtsfragen und den Sachverhalt umfassend überprüft. Nicht eingetreten werden kann daher auf Vorbringen der Beschwerdeführerin, mit denen sie den vorinstanzlichen Erwägungen in bloss appellatorischer Weise ihre eigene Auffassung entgegensetzt oder unsubstanziierte Sachverhaltsrügen erhebt.
3. 3.1 Die Vorinstanz qualifizierte den Vertrag zwischen der Beschwerdeführerin und dem Beschwerdegegner als gemischten Vertrag mit Verpflichtungen werkvertraglicher und solchen auftragsrechtlicher Natur. Die Berechnung der Statik und die Erarbeitung eines oder mehrerer Pläne bzw. einer Nutzungsvereinbarung seien bezüglich der Haftungsfrage den werkvertraglichen Normen zuzuordnen, weil aus diesen Leistungen ein mess- und objektivierbarer Erfolg geschuldet sei. Demgegenüber umfasse die Pflicht des Beschwerdegegners zur Überwachung der Umsetzung seiner Pläne eine Tätigkeit und keinen Arbeitserfolg, weshalb diesbezüglich die Haftung nach auftragsrechtlichen Bestimmungen zu beurteilen sei.
3.2 Die Beschwerdeführerin beanstandet die Vertragsqualifikation der Vorinstanz. Ihrer Auffassung nach richtet sich die Haftung des Beschwerdegegners nach Auftragsrecht. Sie wirft der Vorinstanz eine unvollständige Sachverhaltsfeststellung vor, weil sie die vereinbarte Gesamtleistung des Beschwerdegegners nicht vollständig untersucht bzw. diese falsch beurteilt habe. Mit der falschen Beurteilung habe sie gleichzeitig <ref-law> bzw. <ref-law> verletzt. Die vereinbarten Arbeiten umfassten gemäss Offerte des Beschwerdegegners 95 % der SIA-Grundleistungen und seien im Wesentlichen den Phasen 4.1.3 bis 4.1.5 der SIA-Ordnung 103 zuzuordnen. Diese Arbeiten erschöpften sich somit keineswegs darin, mess- und objektivierbare Ergebnisse zu liefern, wie dies die Vorinstanz ohne vertiefte Auseinandersetzung mit der SIA-Ordnung 103 behauptet habe. Der Bauingenieurvertrag sei ebenso wie der Architektenvertrag ein Gesamtvertrag, der eine grosse Vielzahl verschiedenartiger Leistungen umfasse. Die künstliche Spaltung in Auftrags- und Werkvertragsrecht sei sachlich nicht gerechtfertigt. Das Selbstverständnis der Planer selbst sei ebenfalls ein anderes. Dies zeige sich auch in der Haftungsregelung der SIA-Ordnung 103, nach deren Ziffer 1.9 die Haftung des Ingenieurs nicht an das Vorliegen von Werkmängeln geknüpft werde. Vielmehr werde explizit und separat auf die Verletzung von Sorgfalts- und Treuepflichten hingewiesen. Die Haftung des Beschwerdegegners sei somit nach Auftragsrecht zu beurteilen.
3.3 Was den Inhalt des von den Parteien abgeschlossenen Vertrags anbelangt, stellte die Vorinstanz entgegen der anderslautenden Behauptung der Beschwerdeführerin gerade nicht fest, die Parteien hätten einen "umfassenden" Vertrag für Ingenieurleistungen vereinbart. Sie stellte fest, die Parteien hätten einen Vertrag über Ingenieurleistungen abgeschlossen, worin sich der Beschwerdegegner zur ingenieurtechnischen Bearbeitung der Tragkonstruktion sowie zur Ausführungsplanung und Überwachung der Realisierung des Bauvorhabens gemäss beiliegendem Leistungsbeschrieb verpflichtet habe. Der Leistungsbeschrieb befinde sich jedoch nicht in den Akten. Die Parteien stimmten aber überein, dass damit zunächst die Erarbeitung verschiedener Pläne, gestützt auf die statische Berechnung der Tragkonstruktion, sowie (in Zusammenarbeit mit dem Architekten) die Erstellung eines Sicherheits- und Nutzungsplans respektive einer Nutzungsvereinbarung erfasst sei. Ferner sei der Beschwerdegegner nach Auffassung der Parteien gestützt auf den Vertrag verpflichtet gewesen, die Umsetzung seiner Pläne zu organisieren und zu überwachen.
Eine Ergänzung dieser Feststellungen mit den von der Beschwerdeführerin in der Beschwerde aufgelisteten weiteren Hauptleistungen, die der Beschwerdegegner gemäss der SIA-Ordnung 103 übernommen haben soll, kann das Bundesgericht nicht vornehmen. Denn die Beschwerdeführerin zeigt nicht mit Aktenhinweisen auf, dass sie entsprechende konkrete Tatsachenbehauptungen bereits bei der Vorinstanz eingebracht hat (vgl. Erwägung 2.2).
3.4 Die rechtliche Einordnung des Architektenvertrags und des - insoweit analog zu beurteilenden - Ingenieurvertrags des Bauwesens kann nicht allgemeingültig vorgenommen werden. Den Architektenvertrag oder den Ingenieurvertrag mit stets gleichem Inhalt gibt es nicht. Vielmehr ist darauf abzustellen, welche Leistungen die Parteien im konkreten Vertrag vereinbart haben (Urteil 4A_252/2010 vom 25. November 2010 E. 4.1; GAUCH, Der Werkvertrag, 5. Aufl. 2011, Rz. 47 f.; ebenso BÜHLER, Zürcher Kommentar, 3. Aufl. 1998, N. 168 zu <ref-law>). Den Gesamtvertrag des Architekten qualifiziert das Bundesgericht als gemischten Vertrag, der erlaubt, je nach den konkreten Umständen eine sachgerechte Lösung nach Massgabe des Auftrags- oder Werkvertragsrechts zu finden (<ref-ruling> E. 5.1; <ref-ruling> E. 2a S. 545; <ref-ruling> E. 2b S. 56 mit Hinweisen). Dabei sind Ingenieurleistungen, bei denen ein mess- und objektivierbarer Erfolg geschuldet ist, dem Werkvertragsrecht zu unterstellen. Entsprechend wendet das Bundesgericht auf Ingenieurleistungen wie etwa Vorarbeiten, Vorstudien, Vorprojekte, Ausführungspläne und Ausschreibungsunterlagen Werkvertragsrecht an (<ref-ruling> E. 2e S. 46). Das Bundesgericht hat sodann festgehalten, dass eine Spaltung der Rechtsfolgen denkbar ist, indem sich etwa die Haftung für einen Planungsfehler nach werkvertraglichen Regeln, jene für unsorgfältige Bauleitung nach auftragsrechtlichen Regeln richten kann (<ref-ruling> E. 3d S. 466; so auch <ref-ruling> E. 5.1: unterschiedliche Rechtsfolgen je nach Streitgegenstand; ferner Urteil 4A_252/2010 vom 25. November 2010 E. 4.1). Für die Auflösung des Gesamtvertrages des Architekten kommen die auftragsrechtlichen Bestimmungen, mithin <ref-law>, zur Anwendung (BGE <ref-ruling> E. 2a S. 545 mit Hinweisen; ferner etwa Urteil 4C.18/2005 vom 30. Mai 2005 E. 2.1).
3.5 Die vorinstanzliche Qualifikation des von den Parteien abgeschlossenen Vertrags über Ingenieurleistungen als gemischten Vertrag mit werkvertraglichen und auftragsrechtlichen Elementen stimmt mit der zitierten Rechtsprechung des Bundesgerichts überein. Die Beschwerdeführerin zeigt mit ihrer Darlegung der eigenen Meinung keine Bundesrechtsverletzung durch die Vorinstanz bei der Vertragsqualifikation auf. Namentlich hat sich das Bundesgericht der Auffassung von GAUCH (a.a.O., Rz. 58-61), der den Gesamtvertrag des Architekten einheitlich den Regeln des Auftragsrechts unterstellen will, nicht angeschlossen (vgl. BGE <ref-ruling> E. 2b S. 56). Insbesondere ist auch der in BGE <ref-ruling> E. 2a S. 545 angefügte Hinweis auf die entsprechende Auffassung nicht dahingehend zu verstehen, dass das Bundesgericht seine Rechtsprechung im Sinne dieser Lehrmeinung geändert hätte. Entsprechend hielt das Bundesgericht in der Folge wiederholt an der Qualifikation des Gesamtvertrags des Architekten als gemischten Vertrag (Auftrag und Werkvertrag) fest (<ref-ruling> E. 5.1; ferner etwa Urteile 4C.259/2006 vom 23. Oktober 2006 E. 2; 4C.18/2005 vom 30. Mai 2005 E. 2.1; 4C.93/2003 vom 25. August 2003 E. 4.3.2; 4C.14/2002 vom 5. Juli 2002 E. 4.2; 4C.60.2001 vom 28. Juni 2001 E. 2a).
Exakt auf der Linie dieser Rechtsprechung bewegt sich auch das Urteil 4A_252/2010 vom 25. November 2010 E. 4.1, auf das die Vorinstanz u.a. Bezug nimmt. Darin kann entgegen der Beschwerdeführerin keine Änderung der Rechtsprechung erblickt werden. Ihr Vorwurf, die Vorinstanz habe <ref-law> und <ref-law> verletzt, weil sie nach der Referentenaudienz mit der Bezugnahme auf das Urteil 4A_252/2010 eine neue Rechtsauffassung eingenommen habe, ohne zuvor der Beschwerdeführerin das rechtliche Gehör dazu zu gewähren, entbehrt daher der Grundlage.
Zusammenfassend ist die von der Vorinstanz vorgenommene Vertragsqualifikation bundesrechtlich nicht zu beanstanden. Die dem Beschwerdegegner hauptsächlich vorgeworfenen Plan- und Berechnungsfehler betreffen seine Pflichten werkvertraglicher Natur. Daher ist es folgerichtig, wenn die Vorinstanz die Haftung des Beschwerdegegners nach den werkvertraglichen Regeln prüfte.
Da sich demnach die Auffassung der Beschwerdeführerin, die Haftung richte sich nach Auftragsrecht, als unzutreffend erwiesen hat, gehen auch alle ihre Rügen, die sie auf diese unzutreffende Auffassung stützt, von vornherein fehl, und es wird im Folgenden nicht weiter darauf eingegangen.
4. 4.1 Nach Ablieferung des Werkes hat der Besteller, sobald es nach dem üblichen Geschäftsgange tunlich ist, dessen Beschaffenheit zu prüfen und den Unternehmer von allfälligen Mängeln in Kenntnis zu setzen (<ref-law>). Wird das abgelieferte Werk vom Besteller ausdrücklich oder stillschweigend genehmigt, so ist der Unternehmer von seiner Haftpflicht befreit, soweit es sich nicht um Mängel handelt, die bei der Abnahme und ordnungsmässigen Prüfung nicht erkennbar waren oder vom Unternehmer absichtlich verschwiegen wurden (<ref-law>). Stillschweigende Genehmigung wird angenommen, wenn der Besteller die gesetzlich vorgesehene Prüfung und Anzeige unterlässt (<ref-law>). Treten die Mängel erst später zu Tage, so muss die Anzeige sofort nach der Entdeckung erfolgen, widrigenfalls das Werk auch rücksichtlich dieser Mängel als genehmigt gilt (<ref-law>).
4.2 Die Vorinstanz prüfte, ob die Beschwerdeführerin eine Pflicht zur Mängelrüge hatte und ob sie gegebenenfalls dieser rechtzeitig nachgekommen war.
Sie erwog, die Mängelrügepflicht entstehe mit der Ablieferung des Werkes. In Würdigung der Parteivorbringen stellte sie fest, dass der Beschwerdegegner (im Zeitpunkt der Kündigung) den den werkvertraglichen Normen zuzuordnenden Teil des Vertrags erfüllt und das Werk (die Pläne) im Sinne von <ref-law> abgeliefert habe. Selbst wenn man aber davon ausgehen wollte, die nach werkvertraglichen Normen zu beurteilende Leistung des Beschwerdegegners bzw. das von ihm geschuldete Werk sei im Zeitpunkt der Kündigung des Vertrags noch nicht vollständig erbracht worden, so wäre die Mängelrügepflicht für das unvollendete Werk dennoch in sinngemässer Anwendung der Regeln über die ordentliche Mängelhaftung zu bejahen. Denn die Beschwerdeführerin habe den Vertrag ex nunc aufgelöst und erhebe Anspruch auf die Mängelfreiheit dieses "unvollendeten" Werkes. Der Beschwerdeführerin habe daher eine Pflicht zur Mängelrüge oblegen.
4.3 Was die Beschwerdeführerin dagegen vorbringt, verfängt nicht. Sie macht eine unrichtige Sachverhaltsfeststellung geltend und listet Arbeiten auf, die dem Beschwerdegegner oblegen hätten, die aber im Zeitpunkt der Vertragsauflösung noch nicht erfüllt gewesen seien. Aus diesen ergebe sich, dass im Zeitpunkt der Vertragsauflösung nicht einzig noch rein auftragsrechtliche Leistungen zu erbringen gewesen seien. Mit dieser blossen Auflistung ohne Nachweis, dass sie entsprechende Behauptungen prozesskonform bei der Vorinstanz eingebracht hätte, zeigt sie keine offensichtlich unrichtige Sachverhaltsfeststellung durch die Vorinstanz auf (vgl. Erwägung 2.2). Damit kann sie nicht gehört werden. Es bleibt demnach bei der vorinstanzlichen Feststellung, dass der Beschwerdegegner das Werk (die Pläne) im Sinne von <ref-law> abgeliefert hat.
Aber auch die Eventualbegründung der Vorinstanz lässt sich halten. Bei vorzeitiger Vertragsbeendigung steht der akzeptierte Werkteil dem vollendeten Werk namentlich bezüglich der Mängelrechte des Bestellers gleich (<ref-ruling> E. 2b/aa S. 453; vgl. auch <ref-ruling> E. 4.2 S. 366; GAUCH, a.a.O., Rz. 2434). Die Beschwerdeführerin stellt dies nicht in Abrede. Ihre Ausführungen zur Haftung wegen Sorgfaltspflichtverletzungen gehen an der Sache vorbei, da vorliegend keine solche zu prüfen ist, sondern die Frage, ob die Beschwerdeführerin eine Pflicht zur Rüge des Planfehlers als Werkmangel hatte. Nach dem Gesagten hat die Vorinstanz diese Frage zu Recht bejaht.
5. 5.1 Obwohl <ref-law> es nicht ausdrücklich sagt, sind offene Mängel sofort, d.h. unverzüglich anzuzeigen (GAUCH, a.a.O., Rz. 2141-2144; ZINDEL/PULVER, in: Basler Kommentar, Obligationenrecht, 5. Aufl. 2011, N. 20 zu <ref-law>). Geheime Mängel sind sofort nach der Entdeckung anzuzeigen (<ref-law>). Diese gesetzlichen Regeln sind dispositiver Natur. Die Parteien können abweichende Vereinbarungen treffen (vgl. GAUCH, a.a.O., Rz. 2477-2481).
5.2 Vorliegend vereinbarten die Parteien im Ingenieurvertrag vom 16./20.Januar 2006 folgende Bestimmung (Art. 6 Abs. 3):
"Ansprüche aus Mängeln des unbeweglichen Bauwerkes verjähren innert 5 Jahren. Die Frist beginnt mit der Abnahme des Werkes bzw. des Werkteils zu laufen. Solche Mängel kann der Auftraggeber während der ersten 2 Jahre nach der Abnahme jederzeit rügen. Nach Ablauf dieser Frist sind die Mängel sofort nach der Entdeckung zu rügen."
Zudem haben die Parteien als Grundlage des Vertrags die SIA-Ordnung 103 (Ausgabe 2003) vereinbart. Deren Art. 1.11.21 enthält folgende Regelung:
"Ansprüche aus Mängeln des Bauwerkes verjähren innert fünf Jahren. Die Frist beginnt mit der Abnahme des Werkes bzw. des Werkteils zu laufen. Solche Mängel können während der ersten zwei Jahre nach der Abnahme jederzeit gerügt werden. Nach Ablauf dieser Frist sind die Mängel sofort nach der Entdeckung zu rügen. Den aus der verzögerten Rüge entstehenden Schaden trägt der Auftraggeber selber."
5.3 Die Vorinstanz hielt zunächst fest, mit der Übernahme einer SIA-Ordnung in einen Vertrag erlangten die darin enthaltenen Bestimmungen den Charakter von allgemeinen Vertragsbedingungen. Den übernommenen Bestimmungen gingen individuelle Parteiabreden stets vor (Art. 1.1 SIA-Ordnung 103). Weil Art. 6 Abs. 3 des Ingenieurvertrags die Bestimmung in Art. 1.11.21 SIA-Ordnung 103 ablöse, sei letztere auf den vorliegenden Fall von vornherein nicht anwendbar.
Zur Bestimmung von Art. 6 Abs. 3 des Ingenieurvertrags erwog die Vorinstanz, dass die Verjährungsfrist nur für diejenigen Ansprüche, die aus Mängeln des unbeweglichen Bauwerks entstünden, geregelt werde. Mängel am "unbeweglichen Bauwerk" seien von Planmängeln zu unterscheiden. Führten Planmängel jedoch zu Bauwerksmängeln, stelle der aus den Bauwerksmängeln erwachsende Schaden einen Mangelfolgeschaden der Planmängel dar. Wenn die Bestimmung folglich die Verjährungsfrist von Ansprüchen aus Mängeln am unbeweglichen Bauwerk regle, umfasse sie auch den Anspruch auf Ersatz des Mangelfolgeschadens von Planmängeln.
Von der Regelung der Verjährungsfrist sei die Regelung der Mängelrügefrist abzugrenzen. Nach Art. 6 Abs. 3 des Ingenieurvertrags könnten Mängel während der ersten zwei Jahre nach der Abnahme jederzeit gerügt werden. Aus dem Kontext werde unmissverständlich klar, dass damit (nur) Mängel des unbeweglichen Bauwerks gemeint seien. Nicht geregelt sei damit die Mängelrügefrist für die von den Mängeln am unbeweglichen Bauwerk zu unterscheidenden Planmängel. Demnach gelte für diese mangels anderer Parteiabrede weiterhin die im Obligationenrecht verankerte Pflicht der "sofortigen" Rüge.
Daran ändere nichts, dass die von der Rügefrist zu unterscheidende Verjährungsfrist von Art. 6 Abs. 3 des Ingenieurvertrags sich (wie gesehen) auch auf Ansprüche erstrecke, die ihre Ursache in Planmängeln hätten. Weil der Anspruch auf Ersatz des Mangelfolgeschadens voraussetze, dass der den Schaden verursachende Mangel - vorliegend der Planmangel - rechtzeitig gerügt bzw. nicht akzeptiert worden sei, gelte im Ergebnis, dass der Bauherr seinen Anspruch auf Ersatz des Mangelfolgeschadens verliere, wenn er den Planmangel nicht umgehend nach dessen Entdeckung rüge. Im Regelfall, in dem zunächst die Baumängel entdeckt würden und bei entsprechender Untersuchung festgestellt werde, dass diese Mängel und der damit verbundene Schaden auf Planmängel zurückzuführen seien, führe dies für den Bauherrn nicht zu Problemen. Der Planmangel sei nämlich regelmässig als geheimer Mangel zu qualifizieren und könne deshalb sofort nach dessen Entdeckung innerhalb der Verjährungsfrist, deren Ablauf an die Abnahme des Bauwerks geknüpft sei, gerügt werden. Nachdem der Bauherr grundsätzlich nicht zur Nachforschung verpflichtet sei, brauche er sich nach der Entdeckung von Baumängeln nicht auf Ursachensuche zu machen. Es reiche völlig aus, wenn er im Laufe der zwei Jahre nach der Abnahme des Bauwerks die Mängel gegenüber dem vermeintlichen Verursacher (der in der Regel der Bauunternehmer sein dürfte) rüge und in diesem Zusammenhang darauf stosse, dass die Ursache eigentlich beim Bauingenieur liege. Rüge er diesen Mangel umgehend nach der Entdeckung, sei er seiner Mängelrügepflicht rechtsgenügend nachgekommen. Anderes gelte aber im umgekehrten Fall, in dem der Bauherr Planmängel vor den Baumängeln entdecke. Diesfalls müsse er die Mängel umgehend nach deren Entdeckung rügen, andernfalls seien die daraus erwachsenden Ansprüche verwirkt.
5.4 Diese Erwägungen der Vorinstanz vermag die Beschwerdeführerin nicht als bundesrechtswidrig auszuweisen. Zunächst kann der Beschwerdeführerin nicht gefolgt werden, wenn sie meint, auf die streitbetroffene Frage komme die Regelung von Art. 1.11.21 der SIA-Ordnung 103 zur Anwendung. Wie die Vorinstanz zutreffend festhielt, gehen individuelle Abreden der Parteien den im Sinne allgemeiner Vertragsbedingungen übernommenen Bestimmungen der SIA-Ordnung 103 vor (vgl. auch GAUCH, a.a.O., Rz. 286 und 288). Die Beschwerdeführerin bringt vor, der übereinstimmende Parteiwille sei dahin gegangen, die SIA-Ordnung 103 bzw. die dort enthaltenen Bestimmungen ohne Abänderung zu übernehmen, namentlich aber die zweijährige Rügefrist für alle Arten von Mängeln. Dass bezüglich der Formulierung "unbewegliches" Bauwerk in SIA-Ordnung 103 und in Art. 6 des Ingenieurvertrags eine Differenz bestanden habe, hätten die Parteien offensichtlich bei Vertragsschluss nicht gewollt und nicht realisiert.
Unabhängig davon, ob die von der Beschwerdeführerin vertretene Auslegung von Art. 1.11.21 der SIA-Ordnung 103, wonach für alle Arten von Mängeln eine zweijährige Rügefrist gelte, zutreffen würde, kann sie mit ihrer Behauptung eines übereinstimmenden Parteiwillens auf unveränderte Übernahme der Bestimmung von Art. 1.11.21 der SIA-Ordnung 103 vor Bundesgericht nicht mehr gehört werden. Sie legt nicht dar, Entsprechendes vor der Vorinstanz vorgebracht zu haben. Im Verfahren vor dem Bundesgericht müssen ihre diesbezüglichen Behauptungen als neu und daher unzulässig unberücksichtigt bleiben (<ref-law>). Der in diesem Zusammenhang erhobene Vorwurf einer willkürlichen antizipierten Beweiswürdigung und einer Verletzung von <ref-law> hängt in der Luft und ist nicht nachvollziehbar.
Die somit vorgehende Parteiabrede von Art. 6 Abs. 3 des Ingenieurvertrags enthält mit Bezug auf die für Planmängel geltende Rügefrist keine ausdrückliche Regelung, weshalb die gesetzlich vorgesehene Pflicht zur sofortigen Rüge nach der Entdeckung zur Anwendung gelangt. Die Vorinstanz erkannte dies, ohne Bundesrecht zu verletzen.
Weiter hält die Beschwerdeführerin der Vorinstanz vor, in offensichtlich unrichtiger Sachverhaltsfeststellung übersehen zu haben, dass die wesentlichen Baumängel am unbeweglichen Werk und damit vor den Planmängeln entdeckt worden seien und dass die Beschwerdeführerin im Wesentlichen Mängel des unbeweglichen Werkes zu beanstanden gehabt habe. Eine substanziierte Sachverhaltsrüge erhebt sie indessen nicht. Mit ihren Ausführungen zeigt sie nicht schlüssig auf, dass die anderslautende Feststellung der Vorinstanz, wonach die Planmängel vor den Bauwerksmängeln entdeckt wurden, offensichtlich unrichtig sei. Es bleibt daher bei dieser vorinstanzlichen Feststellung.
6. 6.1 Die Vorinstanz verneinte, dass die Beschwerdeführerin rechtzeitig eine rechtsgenügende Mängelrüge erhoben hat. Gestützt auf die klägerischen Behauptungen ging sie davon aus, dass die Beschwerdeführerin aufgrund der Berichte der R._ Ingenieurbüro AG vom 4. respektive 12. Dezember 2006 über die dem Beschwerdegegner vorgehaltenen Mängel ausführlich informiert war, mithin die hier zur Diskussion stehenden Mängel als am 12. Dezember 2006 als entdeckt zu gelten hätten. Dies sei auch aus dem Bericht des Departements Bau der Stadt X._ vom 12. Januar 2007 ersichtlich. Die Zustellung dieses stadtinternen Berichts an den Beschwerdegegner könne als rechtsgenügliche Mängelrüge betrachtet werden. Sie sei aber erst am 12. Januar 2007 erfolgt, also einen Monat nach Entdeckung der Mängel. Damit sei die Mängelrüge verspätet erfolgt.
6.2 Bei der Beurteilung, ob eine Mängelrüge rechtzeitig erfolgt ist, muss auf die konkreten Umstände des Einzelfalls, insbesondere auf die Art der Mängel abgestellt werden. Entscheide in anderen Fällen sind deshalb nur mit Zurückhaltung heranzuziehen. Grundsätzlich ist die Rügefrist kurz zu bemessen, wenn es sich um einen Mangel handelt, bei dem die Gefahr besteht, dass ein Zuwarten zu einem grösseren Schaden führen kann (<ref-ruling> E. 3b S. 148 mit Hinweis). Wenn dies wie vorliegend nicht der Fall ist, hält das Bundesgericht eine siebentägige Rügefrist für angemessen (vgl. Urteile 4A_82/2008 vom 29. April 2009 E. 7.1; 4C.82/2004 vom 3. Mai 2004 E. 2.3 mit Hinweis, in: Pra 93/2004 Nr. 146 S. 828; vgl. auch Urteil 4D_4/2011 vom 1. April 2011 E. 4.1).
Wie lange sich der Besteller mit der Rüge Zeit nehmen darf, ist nach objektiven Kriterien zu beurteilen. Der Zweck der kurzen Rügefrist nach <ref-law>, d.h. das Bestreben nach rascher Schaffung von Rechtssicherheit, gebietet es, dass der Besteller, wenn er den Mangel einmal zuverlässig festgestellt hat, rasch zur Anzeige an den Unternehmer schreitet (Urteil 4C.159/1999 vom 28. Juli 2000 E. 1b/bb).
Die Rügefrist beginnt mit der Entdeckung des Mangels. Nach der Rechtsprechung gilt ein Mangel erst als entdeckt, wenn der Besteller davon solche Kenntnis erlangt hat, dass er eine genügend substanziierte Rüge erheben kann. Bei Mängeln, die nach und nach zum Vorschein kommen, weil sie in ihrer Ausdehnung oder Intensität wachsen, genügen dafür noch nicht die ersten Anzeichen. Bei solchen Mängeln darf deshalb eine Entdeckung erst angenommen werden, wenn der ernsthafte Charakter des Zustandes deutlich wird und der Besteller die Bedeutung und Tragweite der Mängel erfassen kann (<ref-ruling> E. 7.2; <ref-ruling> E. 3b S. 148 f.).
Die Anzeige der Mängel ist an keine besondere Form gebunden. Inhaltlich muss die Rüge sachgerecht substanziiert sein, zumindest die Mängel genau angeben und zum Ausdruck bringen, dass der Besteller das Werk nicht als vertragsgemäss anerkennen und den Unternehmer haftbar machen will (<ref-ruling> E. 1a S. 175).
6.3 Die Beschwerdeführerin macht eine Verletzung ihres Gehörsanspruchs geltend. Anlässlich der Referentenaudienz vom 23. Oktober 2009 habe der Instruktionsrichter Dr. H. Schmid in der vorläufigen rechtlichen Beurteilung sehr knapp und klar ausgeführt, dass der Einwand des Beschwerdegegners, es liege keine rechtzeitige bzw. rechtsgenügliche Mängelrüge vor, nicht greife. Die Vorinstanz hätte die Beschwerdeführerin vor der Urteilsfällung auf die vom bisher Vorgebrachten abweichende Rechtsauffassung aufmerksam machen müssen. Dies - so die Beschwerdeführerin - hätte ihr ermöglicht, ihre tatsächlichen Vorbringen betreffend Rechtzeitigkeit der Mängelrüge zu vervollständigen. Nachdem der Instruktionsrichter anlässlich der Referentenaudienz sich jedoch "sehr klar" dahingehend geäussert habe, die Mängelrüge sei sowohl rechtzeitig als auch genügend substanziiert, habe sie sich dazu nicht veranlasst gesehen. Die Gehörsverletzung wiege umso schwerer, als sich die Vorinstanz bezüglich der Unterstellung der Haftungsfolgen am "neuen" Urteil 4A_252/2010 mit einer Praxisänderung orientiert habe.
Dem Protokoll der Referentenaudienz/Vergleichsverhandlung vom 23. Oktober 2009 kann nicht entnommen werden, dass sich der Instruktionsrichter dahingehend äusserte, die Klage werde nicht an der Rechtzeitigkeit der Mängelrüge scheitern. Vielmehr findet sich der Hinweis des Instruktionsrichters, dass die Gespräche in der Vergleichsverhandlung offen und ohne Behaftung geführt würden und deshalb später darauf nicht Bezug genommen werden könne. Bei dieser Sachlage kann nicht davon ausgegangen werden, die Vorinstanz habe ihre Rechtsauffassung überraschend geändert, womit die Beschwerdeführerin nicht hätte rechnen müssen. Auch trifft nicht zu, dass sich die Vorinstanz mit dem Urteil 4A_252/2010 auf eine Praxisänderung des Bundesgerichts stützte. Wie ausgeführt, hält das besagte Urteil vielmehr an der bisherigen Rechtsprechung des Bundesgerichts fest (vgl. Erwägung 3.5). Nachdem der Beschwerdegegner den Einwand der fehlenden Mängelrüge bereits in der Klageantwort erhoben hat, bestand für die Beschwerdeführerin Anlass, sich zu diesem Thema zu äussern, ohne dass die Vorinstanz sie speziell darauf aufmerksam machen musste. Eine Verletzung des rechtlichen Gehörs liegt nicht vor.
6.4 Weiter wirft die Beschwerdeführerin der Vorinstanz vor, bei der Bemessung der Rügefrist die Umstände des Einzelfalles nicht angemessen gewürdigt und damit Art. 367 Abs. 1 und <ref-law> mehrfach verletzt sowie in tatsächlicher Hinsicht unhaltbare Sachverhaltsfeststellungen getroffen zu haben.
6.4.1 Zunächst bestreitet sie, dass das Schreiben vom 2. November 2006 inklusive Beilage keine genügend präzise Mängelrüge dargestellt habe, wie die Vorinstanz dies beurteilte. Die Vorinstanz erwog, mit dem Schreiben vom 2. November 2006 habe die Beschwerdeführerin den Beschwerdegegner aufgefordert, zum Prüfungsbericht des von ihr beauftragten Prüfingenieurs D._ Stellung zu nehmen. Dieser habe in seinem Bericht vier Bereiche als "problematisch" bezeichnet. Ferner habe er der Beschwerdeführerin empfohlen, den Beschwerdegegner zur Erbringung der erforderlichen Nachweise aufzufordern, ansonsten eine komplette, neue fundierte Statik mit allen Nachweisen zu erstellen sei. Gemäss Vorinstanz stellt die Mitteilung, dass man gewisse Punkte eines Werks als problematisch erachte und (Berechnungs-)Nachweise verlange, noch keine Mängelrüge dar, werde daraus für den Unternehmer doch nicht klar ersichtlich, ob der Besteller diese Punkte als mangelhaft bezeichnen und den Unternehmer dafür haftbar machen wolle. Eine derartige Mitteilung diene dazu, dem Unternehmer zu offenbaren, dass Zweifel an der einwandfreien Erstellung des Werks bestünden. Vor allem zeige ein solches Schreiben aber auch auf, dass der Besteller keine Gewissheit über allfällige Mängel habe, sondern lediglich eine Vermutung hege, der er auf den Grund gehen wolle. In diesem Fall sei der Besteller aber auch noch nicht zur Rüge verpflichtet. Das Schreiben vom 2. November 2006 stelle mithin keine Mängelrüge im Sinn von <ref-law> dar.
Dieser Beurteilung ist beizupflichten. Das Schreiben vom 2. November 2006 gibt keine konkreten Mängel an und bringt nicht zum Ausdruck, dass die Beschwerdeführerin den Beschwerdegegner für bestimmte Mängel haftbar machen will. Entgegen der Beschwerdeführerin ergibt sich auch aus dem dem Schreiben beigelegten Bericht von D._ keine ausreichende Präzision. Dort werden lediglich vier Bereiche als "problematisch" bezeichnet, und es wird der Beschwerdeführerin empfohlen, vom Beschwerdegegner Nachweise zu verlangen. Entsprechend erging das Schreiben vom 2. November 2006 als "Aufforderung zur Stellungnahme". Darin kann mit der Vorinstanz keine Mängelrüge erblickt werden.
6.4.2 Die Vorinstanz betrachtete auch das Kündigungsschreiben vom 14. Dezember 2006 nicht als rechtsgenügliche Mängelrüge. Die Beschwerdeführerin beanstandet dies zwar, begründet aber nicht, inwiefern die Vorinstanz mit der diesbezüglichen Beurteilung eine Rechtsverletzung begangen haben soll. Auf diese Beanstandung ist daher nicht einzugehen.
6.4.3 Weiter behauptet die Beschwerdeführerin nunmehr, sie habe erst im Januar 2007 ausreichend Kenntnis über die Mängel erlangt. Sie widerspricht damit den Sachverhaltsfeststellungen der Vorinstanz, wonach die Beschwerdeführerin selbst ausgeführt habe, dass ihr die R._ Ingenieurbüro AG am 4. Dezember 2006 einen Zwischenbericht und am 12. Dezember 2006 einen Kurzbericht zugestellt habe, worin in insgesamt neun Punkten Probleme der Tragfähigkeit und in drei Punkten Mängel der Gebrauchstauglichkeit aufgeführt worden seien. Ferner habe sie ausdrücklich erklärt, dass "die bereits im Dezember 2006 erlangten Erkenntnisse" im definitiven Bericht vom 11. Januar 2007 formuliert worden seien. Auch aus ihrem stadtinternen Bericht vom 12. Januar 2007 gehe hervor, dass die Überprüfung durch die R._ Ingenieurbüro AG bereits am 12. Dezember 2006 abgeschlossen gewesen sei. Gestützt auf diese - mangels substanziierter Sachverhaltsrüge verbindlichen - Feststellungen durfte die Vorinstanz folgern, dass die Beschwerdeführerin am 12. Dezember 2006 über die fraglichen Mängel ausreichend informiert war. Wie die Vorinstanz unangefochten festhielt, behauptete die Beschwerdeführerin selbst nichts Gegenteiliges. Die Schlussfolgerung der Vorinstanz verletzt daher in keiner Weise Bundesrecht.
6.4.4 Auch die Kritik gegen die Bemessung der Rügefrist dringt im Licht der zitierten bundesgerichtlichen Rechtsprechung nicht durch. Selbst wenn, wie die Beschwerdeführerin postuliert, eine eher grosszügige Handhabung der Rügefristen praktiziert würde, kann der Vorinstanz jedenfalls keine Verletzung von Bundesrecht vorgeworfen werden, wenn sie - bei Abstellen auf den Zeitpunkt der Entdeckung der Mängel im Dezember 2006 - die erst rund fünf Wochen später erfolgte Mängelrüge vom 12. Januar 2007 als verspätet beurteilte.
6.5 Demnach wies die Vorinstanz die Klage insoweit zu Recht wegen verspäteter Rüge der beanstandeten Mängel ab.
7. Die Beschwerdeführerin wendet sich schliesslich gegen die vorinstanzliche Verneinung weiterer geltend gemachter Vertragsverletzungen. Sie rügt in diesem Zusammenhang die Verletzung von Art. 364, 367 Abs. 1 und <ref-law> sowie willkürliche Sachverhaltsfeststellungen. Die Begründung dieser Rügen fällt indessen zu pauschal aus und lässt eine sachdienliche Auseinandersetzung mit den einlässlichen Erwägungen der Vorinstanz vermissen. Im Wesentlichen begnügt sich die Beschwerdeführerin damit, die Ausführungen der Vorinstanz als unzutreffend oder offensichtlich falsch zu bezeichnen und ihnen ihre eigene Auffassung gegenüber zu stellen, die im Übrigen wiederum auf der auch bezüglich der weiteren geltend gemachten Vertragsverletzungen unzutreffenden Ansicht beruht, die Haftungsfrage beurteile sich nach Auftragsrecht. Damit zeigt sie nicht in rechtsgenügender Weise auf, inwiefern die Vorinstanz Bundesrecht verletzt haben soll (vgl. Erwägungen 2.1 und 2.3). Ungenügend begründet sind auch ihre Vorwürfe willkürlicher Sachverhaltsfeststellungen (vgl. Erwägung 2.2). Mangels hinlänglicher Begründung ist daher auf diese Rügen nicht weiter einzugehen.
Es bleibt daher bei der Abweisung der Klage, wie sie von der Vorinstanz erkannt wurde.
8. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG). Die Kostenbefreiung für Gemeinden nach <ref-law> greift nicht, da es sich vorliegend um das Vermögensinteresse der Beschwerdeführerin handelt.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 9'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 10'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 31. Juli 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Kölz