Sachverhalt: A. Die A._ SA (Klägerin; Beschwerdeführerin) ist eine Aktiengesellschaft nach Art. 620 ff. OR mit Sitz in U._. Sie bezweckt unter anderem die Beteiligung an Unternehmen im Pflege- und Gesundheitsbereich. Die B._ AG (Beklagte; Beschwerdegegnerin) ist ebenfalls eine Aktiengesellschaft nach Art. 620 ff. OR mit Sitz in V._. Sie bezweckt die Übernahme und Durchführung von Prüfungs-, Beratungs- und Treuhandmandaten sowie alle damit direkt oder indirekt zusammenhängenden Aufgaben und Tätigkeiten. An der Generalversammlung der A._ SA vom 9. Juni 2010 wurden C._, D._ sowie E._ als Verwaltungsräte nicht wiedergewählt, und angestrebte Neuwahlen von Verwaltungsratsmitgliedern kamen nicht zustande. Nach dem Rücktritt von F._ aus dem Verwaltungsrat anlässlich der Sitzung vom 15. Juni 2010 setzte sich dieser nur noch aus den kollektivzeichnungsberechtigten Verwaltungsräten G._ und H._ zusammen. Am 16. Juni 2010 unterzeichneten die verbliebenen zwei Verwaltungsräte G._ und H._ einen Mandatsvertrag ("Letter of Engagement") mit der Beklagten, in dem diese beauftragt wurde, bestimmte Zahlungen und Ausgaben der Gesellschaft in den Jahren 2007 bis 2010 näher zu überprüfen. Am 3. September 2010 unterzeichneten G._ und H._ eine Schuldanerkennung zugunsten der Beklagten im Umfang von Fr. 600'000.-- exklusiv Mehrwertsteuern. B. Mit Klage vom 9. August 2011 bzw. Replik beantragte die Klägerin dem Handelsgericht des Kantons Zürich, es sei festzustellen, dass die von der Beklagten gegenüber der Klägerin geltend gemachten Forderungen in Höhe von Fr. 645'600.-- nebst Zins zu 5 % seit 3. November 2010, für die der Beklagten mit Entscheid des Juge de paix du district de Nyon vom 14. Juli 2011 im Verfahren KC11.016911 provisorische Rechtsöffnung erteilt wurde, nicht bestehen. Zur Begründung ihrer Klage machte sie geltend, das Mandat mit der Beklagten sei nicht rechtsgültig zustande gekommen. Auch die Schuldanerkennung sei ungültig, da der Verwaltungsrat im Zeitpunkt der Unterzeichnung derselben nicht ordnungsgemäss zusammengesetzt gewesen sei und die Schuldanerkennung auch vom neu und statutenkonform bestellten Verwaltungsrat im Nachhinein nie genehmigt worden sei. Sodann seien die von der Beklagten geltend gemachten und in Rechnung gestellten Leistungen nicht ausgewiesen. Im Übrigen habe die Beklagte das Mandat schlecht erfüllt, weil sie die Prüfungen nicht objektiv vorgenommen habe. Mit Urteil vom 1. November 2013 wies das Handelsgericht die Klage ab. Zudem hielt es fest, die mit Verfügung des Juge de paix du district de Nyon vom 14. Juli 2011 in der Betreibung Nr. xxx des Office des poursuites du district de Nyon (Zahlungsbefehl vom 29. Oktober 2010) erteilte provisorische Rechtsöffnung für Fr. 600'000.--, zuzüglich Mehrwertsteuer von 7.6 %, total Fr. 645'000.-- (recte wohl Fr. 645' 600.--), zuzüglich Zins zu 5 % auf Fr. 600'000.-- seit 3. November 2010, sei damit definitiv. C. Die Beschwerdeführerin beantragt dem Bundesgericht mit Beschwerde in Zivilsachen, das Urteil des Handelsgerichts vom 1. November 2013 aufzuheben und die Aberkennungsklage vom 9. August 2011 gutzuheissen. Eventualiter sei die Sache zur Ergänzung des Sachverhalts, Durchführung eines ordentlichen Beweisverfahrens und Neubeurteilung an die Vorinstanz zurückzuweisen. Die Beschwerdegegnerin beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei, und das angefochtene Urteil zu bestätigen. Die Vorinstanz verzichtete auf eine Vernehmlassung. Die Beschwerdeführerin reichte eine Replik ein. Die Beschwerdegegnerin verzichtete auf weitere Bemerkungen. Am 6. Mai 2014 nahm das Handelsgericht aufforderungsgemäss zu Vorbringen in der Beschwerdeschrift betreffend die Befangenheit von Handelsrichter Alexander Pfeifer Stellung. Dazu reichte die Beschwerdeführerin eine Antwort ein, wozu sich die Beschwerdegegnerin und das Handelsgericht äusserten. Mit Präsidialverfügung vom 28. Februar 2014 wurde das Gesuch, der Beschwerde aufschiebende Wirkung zu erteilen, abgewiesen.