Sachverhalt: A. A.a. Die A._ AG (Bestellerin, Beschwerdeführerin) mit Sitz in U._ ist insbesondere im Bereich der Liegenschaftsverwaltung tätig und erbringt weitere Dienstleistungen, unter anderem im Bereich der Logistik. Die B._ GmbH (Unternehmerin, Beschwerdegegnerin) mit Sitz in V._ bezweckt den Handel mit und die Montage von Bauprodukten aller Art und ist insbesondere auf den Einbau von Fenstern und Türen bei Neu- und Umbauten spezialisiert. A.b. Die Bestellerin liess im Frühjahr/Sommer 2015 als Bauherrin die aus drei Wohnblöcken bestehende Überbauung "Y._" an der W._strasse in X._ sanieren (nachfolgend: Y._ 7/9, 11/13 und 15/17). Im Rahmen dieses Bauprojekts wurden die Wohnungen verkleinert, so dass aus den insgesamt 18 Wohnungen neu deren 36 entstanden. Die Unternehmerin wurde mit der Lieferung und Montage der neuen Wohnungseingangstüren und der Balkonverglasungen beauftragt. Die Arbeiten waren in zwei Vertragswerken geregelt: Gegenstand des ersten Vertrags war im Wesentlichen die Demontage und die Entsorgung der alten Türen sowie die Lieferung und die Montage von 36 neuen Türen in allen drei Wohnblöcken (nachfolgend: Werkvertrag Schreinerarbeiten). Mit Ausnahme der Lieferung und Montage der Türschilder, Drücker, Spione sowie der Türschwellen erbrachte die Unternehmerin unbestrittenermassen die vereinbarten Leistungen. Ob sie die übrigen vorgenannten Leistungen erbracht hat (Türschilder, Drücker und Spione) bzw. ob diese überhaupt Vertragsbestandteil gewesen sind (Türschwellen), war und ist demgegenüber umstritten. Als Vergütung wurde eine Pauschale von Fr. 75'000.-- (inkl. MwSt.) vereinbart, wobei sich die Bestellerin verpflichtete, Akontozahlungen gemäss Baufortschritt zu leisten. Die Bestellerin bezahlte bislang insgesamt Fr. 56'161.--. Gegenstand des zweiten Vertrags war die Lieferung und die Montage von Balkonverglasungen mit Schiebeelementen für alle drei Wohnblöcke (nachfolgend: Werkvertrag Balkonverglasungen). Die Parteien vereinbarten hierfür eine pauschale Vergütung von Fr. 120'000.-- (inkl. MwSt.), wobei sich die Bestellerin auch unter der Geltung dieses Vertrags verpflichtete, Akontozahlungen gemäss Baufortschritt zu leisten. Es ist unbestritten, dass die Unternehmerin aus diesem Vertrag Leistungen mit vertraglich zugeschriebenen Werten von Fr. 113'331.35 erbrachte. Die Bestellerin leistete hierfür noch keine Zahlungen. B. Am 7. August 2017 reichte die Unternehmerin beim Handelsgericht des Kantons Zürich Klage gegen die Bestellerin ein. Sie beantragte, die Bestellerin kostenfällig zu verpflichten, ihr Fr. 157'560.85 zuzüglich Zins zu bezahlen; überdies sei der Rechtsvorschlag in der Betreibung in diesem Umfang zu beseitigen. Später reduzierte sie den geforderten Betrag auf Fr. 131'399.85 zuzüglich Zins. Die Bestellerin verlangte ihrerseits widerklageweise Fr. 40'535.60 zuzüglich Zins. Der von der Unternehmerin begehrte Betrag aus dem Werkvertrag Schreinerarbeiten belief sich - nach Abzug bereits geleisteter Zahlungen der Bestellerin - auf Fr. 18'839.--. Aus dem Werkvertrag Balkonverglasungen forderte sie Fr. 113'331.35 abzüglich einer anerkannten Gegenforderung der Bestellerin über Fr. 770.50, insgesamt Fr. 112'560.85. Die Differenz des aus dem Werkvertrag Balkonverglasungen geforderten Betrags (Fr. 112'560.85) zum vereinbarten Pauschalpreis (Fr. 120'000.--) begründete die Unternehmerin mit nicht erbrachten Leistungen im Zusammenhang mit den Sitzplatztrennwänden in den Wohnungen im Erdgeschoss, welche sie aufgrund Rücktritts der Bestellerin im Sinne von Art. 377 OR nicht mehr habe erstellen müssen. Der von der Bestellerin widerklageweise verlangte Betrag setzte sich zusammen aus Kosten, welche ihr aufgrund angeblicher Ersatzvornahme durch Drittunternehmer erwachsen seien (Fr. 96'214.60) zuzüglich Mietzinsausfälle (Fr. 83'160.--), da sie die Wohnungen wegen nicht rechtzeitiger Erfüllung der Unternehmerin nicht vom geplanten Bezugstermin an habe vermieten können. Die Differenz zwischen diesen Forderungen über total Fr. 179'374.60 und den anerkannten Werklohnforderungen der Unternehmerin, welche die Bestellerin ihrerseits auf Fr. 138'839.-- bezifferte, entspricht der Widerklageforderung von Fr. 40'535.60. Mit Entscheid vom 3. Juni 2020 hiess das Handelsgericht die Klage vollumfänglich gut und wies die Widerklage ab. Die Bestellerin habe unter dem Werkvertrag Schreinerarbeiten Zahlungen im Umfang von Fr. 56'161.-- geleistet, unter dem Werkvertrag Balkonverglasungen keine. Die Unternehmerin sei ihren Pflichten gemäss Werkvertrag Schreinerarbeiten vollumfänglich nachgekommen; aus dem Werkvertrag Balkonverglasungen habe sie nur Leistungen im Umfang von Fr. 113'331.35 erbracht. Die Bestellerin sei vertraglich verpflichtet, den ausstehenden Teil der vereinbarten Pauschalpreise zu bezahlen. Von den insgesamt offenen Fr. 132'170.35 verlange die Unternehmerin die Bezahlung von Fr. 131'399.85, welche ihr zustünden. Der Bestellerin ihrerseits stünden keine Schadenersatzforderungen zu, da sich die Unternehmerin entweder nicht in Verzug befunden habe oder - soweit dies zutraf - es der Bestellerin nicht gelungen sei, die übrigen Voraussetzungen eines Schadenersatzanspruchs nachzuweisen. C. Mit Beschwerde in Zivilsachen vom 13. Juli 2020 beantragt die Beschwerdeführerin, das Urteil des Handelsgerichts Zürich aufzuheben und die Klage kostenfällig abzuweisen. Weiter sei die Beschwerdegegnerin zu verurteilen, der Beschwerdeführerin Fr. 40'535.60 zuzüglich Zins zu bezahlen. Eventualiter sei das Urteil des Handelsgerichts Zürich aufzuheben und die Akten zur neuen Entscheidung an die Vorinstanz zurückzuweisen. Die Beschwerdegegnerin beantragt, die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Die Vorinstanz verzichtete auf Vernehmlassung.