Sachverhalt:
A. Die in Zürich domizilierte X._ AG (Beschwerdeführerin) gehörte ursprünglich zum A._-Konzern, wurde aber im Zuge von dessen Sanierung an den deutschen X._-Konzern verkauft. Sie war Eigentümerin einer Liegenschaft in Bülach, die grösstenteils von der W._ AG, die ursprünglich ebenfalls zum X._-Konzern gehört hatte, als Betriebsliegenschaft genutzt wurde. Am 24. November 2004 beauftragte die Beschwerdeführerin die Y._ AG (Beschwerdegegnerin) in einem als "Verkaufsauftrag" überschriebenen Mäklervertrag im Sinne von Art. 412 ff. OR mit dem Verkauf der Liegenschaft in Bülach. Diese wurde am 9. September 2005 verkauft. Als Käuferin trat formell die Bank B._ auf, welche ihrerseits mit der W._ AG darüber einen Leasingvertrag abschloss. Ob der Beschwerdegegnerin die gemäss Vertrag auf 3 % festgesetzte Mäklerprovision bzw. die Hälfte davon zusteht, ist umstritten.
B. Mit am 24. September 2007 eingereichter Weisung und am 29. Januar 2008 nachgereichter Klageschrift beantragte die Beschwerdegegnerin dem Handelsgericht des Kantons Zürich, die Beschwerdeführerin zu verpflichten, ihr Fr. 330'000.-- nebst Zins und Mwst zu bezahlen, unter Vorbehalt des Nachklagerechts. Nachdem die Beschwerdegegnerin ursprünglich, ausgehend von einem Kaufpreis von Fr. 11 Mio, noch die volle vertragsgemässe Provision von 3 % gefordert hatte, reduzierte sie in ihrer Replik die Klageforderung auf Fr. 166'875.-- nebst Zins und Mwst entsprechend 1,5 % vom effektiv erzielten Kaufpreis von Fr. 11,125 Mio. Hierauf schrieb das Handelsgericht die Klage mit Beschluss vom 9. Juni 2011 im Umfang von Fr. 163'125.-- zuzüglich 7 % Mwst als durch Klagerückzug erledigt ab und verpflichtete die Beschwerdeführerin mit Urteil vom selben Tage, der Beschwerdegegnerin Fr. 166'875.-- zuzüglich 7,6 % Mwst und Zins zu bezahlen.
C. Die Beschwerdeführerin beantragt dem Bundesgericht mit Beschwerde in Zivilsachen, das Urteil des Handelsgerichts aufzuheben und die Klage abzuweisen, eventuell die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Die Beschwerdegegnerin verlangt, auf die Beschwerde nicht einzutreten, eventuell diese abzuweisen. Das Handelsgericht hat auf Vernehmlassung verzichtet.
Erwägungen:
1. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 135 II 384 E. 2.2.1 S. 389; 133 II 249 E. 1.4.1 S. 254 mit Hinweisen).
1.1 Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 sowie Art. 106 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Rechtsverletzung liegt. Es genügt nicht, die im kantonalen Verfahren eingenommenen Rechtsstandpunkte zu bekräftigen. Vielmehr ist mit der Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz anzusetzen. Genügt die Beschwerdeschrift diesen Begründungsanforderungen nicht, ist darauf nicht einzutreten (vgl. BGE 134 II 244 E. 2.1 S. 245 f.; 116 II 745 E. 3 S. 749).
1.2 Nach Art. 105 BGG legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach Art. 97 Abs. 1 BGG und für eine Berichtigung des Sachverhalts von Amtes wegen nach Art. 105 Abs. 2 BGG stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind nach Massgabe von Art. 106 Abs. 2 BGG zu begründen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von Art. 105 Abs. 2 BGG, die dem Richter geradezu in die Augen springen (BGE 133 II 249 E. 1.4.3 S. 254 f. mit Hinweisen).
1.3 Auf die Beschwerde ist im Folgenden nur einzutreten, soweit sie diesen Anforderungen gerecht wird. Vorbringen ohne ersichtlichen Bezug zum angefochtenen Urteil bleiben unbeachtet, ebenso wie appellatorische Sachverhaltskritik, welche die Beschwerdeführerin namentlich unter dem Titel "Keine geschuldete Aufstellung durch die Beschwerdegegnerin" erhebt.
2. Unter den Parteien ist im Wesentlichen die Auslegung des Verkaufsauftrags umstritten. Ziel der Vertragsauslegung ist es, in erster Linie den übereinstimmenden wirklichen Willen der Parteien festzustellen (vgl. Art. 18 Abs. 1 OR). Diese subjektive Vertragsauslegung beruht auf Beweiswürdigung, die vorbehältlich der Ausnahmen von Art. 97 und 105 BGG der bundesgerichtlichen Überprüfung entzogen ist. Steht eine tatsächliche Willensübereinstimmung fest, bleibt für eine Auslegung nach dem Vertrauensgrundsatz kein Raum. Erst wenn eine tatsächliche Willensübereinstimmung unbewiesen bleibt, sind zur Ermittlung des mutmasslichen Parteiwillens die Erklärungen der Parteien aufgrund des Vertrauensprinzips so auszulegen, wie sie nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen verstanden werden durften und mussten. Das Bundesgericht überprüft diese objektivierte Auslegung von Willenserklärungen als Rechtsfrage, wobei es an Feststellungen des kantonalen Richters über die äusseren Umstände sowie das Wissen und Wollen der Beteiligten grundsätzlich gebunden ist (Art. 105 Abs. 1 BGG). Massgebend ist dabei der Zeitpunkt des Vertragsabschlusses. Nachträgliches Parteiverhalten ist bei der Auslegung nach dem Vertrauensprinzip nicht von Bedeutung; es kann höchstens - im Rahmen der Beweiswürdigung - auf einen tatsächlichen Willen der Parteien schliessen lassen (BGE 132 III 626 E. 3.1 S. 632 mit Hinweisen).
2.1 Nach Ziff. 4 des Verkaufsauftrags erteilte die Beschwerdeführerin der Beschwerdegegnerin einen Exklusiv-Verkaufsauftrag. Dieser beginnt am 15. November 2004 und endet am 30. Juni 2005 ohne weitere Erklärung, sofern er nicht spätestens einen Monat vor Ablauf der Festlaufzeit im gegenseitigen Einvernehmen verlängert wird (Ziff. 4b). Ziff. 4c, letzter Absatz, lautet wie folgt:
"Nach Beendigung dieses Vertrages wird der Beauftragte eine Aufstellung vorlegen, welche alle Namen aufführt von Mietinteressenten mit denen während der Vertragslaufzeit nachweisbar Verhandlungen geführt worden sind. Falls innerhalb von einem Jahr nach Ablauf oder Auflösung dieses Vertrages eine Vermietung an einen dieser aufgeführten Interessenten zustande kommt, ist die Auftraggeberin provisionspflichtig."
Unter dem Titel "Provision" vereinbarten die Parteien in Ziff. 5d des Verkaufsauftrags:
"Kommt es mit einem Interessenten der unmittelbare wirtschaftliche Verflechtungen zum X._-Konzern unterhält, bzw. unmittelbar durch die Auftraggeberin akquiriert wurde zu Verhandlungen, so werden diese durch die Auftragnehmerin geführt. In solchen Fällen reduziert sich die Provisionspflicht auf 50 % des oben vereinbarten Satzes."
2.2 Diesen Bestimmungen entnahm die Vorinstanz zunächst, die in Ziff. 4 vereinbarte Exklusivität sei durch Ziff. 5d verschärft worden, indem der Beschwerdeführerin zwar nicht gänzlich verboten worden sei, sich selbst um den Abschluss zu bemühen. Für die Verhandlungsführung/Verkaufsabwicklung mit einer selbst gefundenen Vertragspartnerin sei die Beschwerdeführerin jedoch gehalten gewesen, die Beschwerdegegnerin beizuziehen und ihr so zumindest einen reduzierten Provisionsanspruch zu verschaffen. Diese Regelung muss nach Auffassung der Vorinstanz unter den gegebenen Umständen auch die Käuferin (Bank B._) und die Leasingnehmerin (W._ AG) erfassen.
2.3 Zu diesem Ergebnis gelangte die Vorinstanz mit Blick auf den Ablauf der Vertragsverhandlungen, in deren Rahmen die Beschwerdeführerin der Beschwerdegegnerin eine Regelung vorgeschlagen habe, welche bei einem Kaufvertragsabschluss mit einem Interessenten, der unmittelbare wirtschaftliche Verflechtungen zum X._-Konzern unterhalte bzw. unmittelbar durch die Auftraggeberin akquiriert wurde, keine Provisionspflicht der Auftraggeberin vorsah. Diesem Regelungsvorschlag habe die Beschwerdegegnerin entnehmen dürfen und müssen, dass die Beschwerdeführerin (auch) einen Vertragsschluss mit den potenziellen Vertragspartnern W._ AG/Bank B._ von der Provisionspflicht ausnehmen wolle, nachdem die Beschwerdeführerin nach eigenen Angaben die Beschwerdegegnerin bereits anlässlich des ersten Gesprächs vom 20. Juli 2004 auf die laufenden bzw. geplanten Gespräche mit der W._ AG/Bank B._ hingewiesen und ihr vermittelt hatte, dass sie sich keinesfalls in diese einschalten sollte. Diesen Vorschlag habe die Beschwerdegegnerin indessen explizit abgelehnt und der Beschwerdeführerin als Gegenvorschlag die in Ziff. 5d enthaltene Bestimmung unterbreitet, welche die Beschwerdeführerin akzeptiert habe. Vor diesem Hintergrund habe die Beschwerdegegnerin die Regelung dahin verstehen dürfen und müssen, dass auch im Falle eines Vertragsschlusses mit den potenziellen Vertragspartnern W._ AG/Bank B._ Ziff. 5d des Verkaufsauftrags zur Anwendung gelangen würde. Dass die Parteien entgegen diesem Auslegungsergebnis tatsächlich vereinbart hätten, eine Provisionierung des Verkaufes der Liegenschaft an die W._ AG, auch in Form eines Sale-and-lease-back-Geschäfts, auszuschliessen, blieb nach Auffassung der Vorinstanz unbewiesen, so dass Ziff. 5d des Vertrages auch im Falle der Erwerber W._ AG/Bank B._ zur Anwendung gelange.
2.4 Die Beschwerdeführerin wendet ein, die Klausel regle einzig den Fall, in welchem "es während der Vertragsdauer (nicht vorher! - sonst würde es sich ja um eine Vorkenntnis handeln) zu einer Akquise durch die Auftraggeberin (Beschwerdeführerin)" komme. Aufgrund der rechtserheblichen Vorkenntnis der Käuferschaft habe keine Kausalität entstehen können, weshalb es gar keines Vorbehalts bedurft habe, um den Vertrag mit W._ AG bzw. Bank B._ von der Provisionspflicht auszunehmen. Die Beschwerdeführerin habe in guten Treuen Ziff. 5d dahin verstehen dürfen, dass einzig neu dazu tretende Interessenten (Konzerngesellschaften oder externe Interessenten), die sich bei ihr im Laufe des Vertrages meldeten, der Beschwerdegegnerin zur Weiterbearbeitung zuzuweisen seien. Eine derartige Regelung sei entgegen der Ansicht der Vorinstanz auch sinnvoll. Sie hätte Fälle abgedeckt, in denen eine der (vielen) Konzerngesellschaften der Beschwerdeführerin aus irgendeinem bislang nicht bekannten Grund die besagte Liegenschaft hätte erwerben wollen oder sich über Internetwerbung oder über das umfangreiche Beziehungsnetz der Konzernmitarbeiter ein neuer (nicht vorbekannter) Interessent bei der Beschwerdeführerin gemeldet hätte.
2.5 Die gesetzlichen Vorschriften über den Mäklervertrag sind weitgehend dispositiver Natur. Nach der Rechtsprechung können die Parteien des Mäklervertrages auf das Erfordernis des Kausalzusammenhangs verzichten und dem Makler einen Provisionsanspruch einräumen, auch wenn dessen Tätigkeit ohne Einfluss auf den Vertragsabschluss des Auftraggebers bleibt (BGE 100 II 361 E. 3d S. 365; Urteil des Bundesgerichts 4C.228/2005 vom 25 Oktober 2005 E. 3 mit Hinweisen). Nachdem die Beschwerdeführerin die Beschwerdegegnerin nach eigenen Angaben auf die bereits angelaufenen Gespräche mit der W._ AG/Bank B._ hingewiesen hatte und folglich bei der Ausarbeitung des Verkaufsauftrages dieser Fall bereits konkret im Raum stand, durfte die Beschwerdegegnerin in guten Treuen annehmen, die Beschwerdeführerin habe mit ihrem Regelungsvorschlag klarstellen wollen, dass der Beschwerdegegnerin gerade bei einem aus den laufenden Gesprächen resultierenden Vertragsabschluss keine Provision zustehen sollte, zumal nach dem angefochtenen Urteil keine Anhaltspunkte dafür bestehen, dass die Parteien die Möglichkeit, dass sich auch eine andere Konzerngesellschaft für Liegenschaft interessieren könnte, erwogen hätten. Demgemäss musste die Beschwerdeführerin den Gegenvorschlag der Beschwerdegegnerin nach Treu und Glauben auf einen möglichen Abschluss mit W._ AG/Bank B._ beziehen. Die beanstandete Auslegung der Vorinstanz hält somit vor Bundesrecht stand.
2.6 Was die Aktivitäten der Beschwerdegegnerin im Hinblick auf eine Verkaufsvermittlung anbelangt, listete die Vorinstanz verschiedene Tätigkeiten einzeln auf. Diese seien erfolglos geblieben, weil die Beschwerdeführerin ihre eigenen Verhandlungen geführt und abgeschlossen habe. Obwohl die Beschwerdeführerin die Verhandlungsführung vertragsgemäss der Beschwerdegegnerin hätte überlassen müssen, habe sie diese bewusst davon ferngehalten. Aufgrund dieses Verhaltens billigte die Vorinstanz der Beschwerdegegnerin einen Anspruch im Umfang der entgangenen Provision zu. Dem stehe der Umstand, dass der Kaufvertrag nach dem 30. Juni 2005 und damit nach Ablauf der Dauer des Mäklervertrages zustande gekommen sei, nicht entgegen, hätten die Parteien doch in Ziff. 4c Abs. 2 des Vertrages bestimmt, dass der Provisionsanspruch entstehe, wenn der Mäklervertrag nicht länger als ein Jahr vor Vertragsschluss mit dem Dritten beendet wurde, sofern die übrigen Voraussetzungen erfüllt seien. Letzteres treffe zu, wenn angenommen werde, die Verhandlungsführung durch die Beschwerdegegnerin sei als Bedingung für die Entstehung des Provisionsanspruchs aufzufassen, und die Beschwerdegegnerin so gestellt werde, wie wenn sie die Vertragsverhandlungen geführt hätte. Gehe man von einer Schadenersatzpflicht der Beschwerdeführerin im Sinne von Art. 97 ff. OR aus wegen Nichterfüllung der Pflicht, die Verkaufsverhandlungen der Beschwerdegegnerin zu überlassen, sei diese so zu stellen, wie wenn sie diese geführt hätte. In beiden Fällen schulde die Beschwerdeführerin das positive Interesse im Umfang der für den Erfolgsfall vereinbarten Provision.
2.7 Mit ihrer Rüge, die Vorinstanz habe fälschlicherweise in krassem Widerspruch zum Beweisergebnis angenommen, die im Mäklervertrag erforderliche Kausalität sei gegeben, verkennt die Beschwerdeführerin die Bedeutung der beiden selbstständigen Begründungen der Vorinstanz, welche der Beschwerdegegnerin gemäss der einen Variante nicht einen Erfüllungs-, sondern einen Ersatzanspruch einräumt und gemäss der anderen den Eintritt der für den Anspruch erforderlichen Bedingung fingiert (Art. 156 OR).
3. Die Vorinstanz stellte sodann fest, die Beschwerdegegnerin habe nach Beendigung des Vertrages keine förmliche Aufstellung im Sinne von Ziff. 4c vorgelegt, aber der Beschwerdeführerin am 20. September 2005 ihren Tätigkeitsbericht geschickt, dem zu entnehmen sei, welche potenziellen Interessenten die Beschwerdegegnerin angesprochen habe. In rechtlicher Hinsicht würdigte die Vorinstanz Ziff. 4c des Verkaufsauftrags als Obliegenheit, deren Nichterfüllung zu einem Rechtsverlust führen könne und nicht, wie die Beschwerdeführerin gelten gemacht hatte, als Rechtspflicht, deren Verletzung ohne Weiteres die Verwirkung des Provisionsanspruchs nach sich ziehe.
3.1 Die Beschwerdeführerin hält auch vor Bundesgericht an ihrem Standpunkt fest, wonach Ziff. 4c nicht eine blosse Obliegenheit statuiere, wie die Vorinstanz annehme, sondern eine eigentliche Vertragspflicht. Daraus leitet die Beschwerdeführerin ab, sie schulde zufolge des Verstosses gegen die betreffende Vertragspflicht durch die Beschwerdegegnerin keine Provision.
3.2 Ob es sich nach dem Wortlaut der umstrittenen Bestimmung um eine Obliegenheit oder eine eigentliche Vertragspflicht handelt, deren Verletzung zum Verlust des im Übrigen verdienten Mäklerlohnes führt, kann offen bleiben. Aus der Unterlassung, eine Liste zu erstellen, kann die Beschwerdeführerin ohnehin nichts zu ihren Gunsten ableiten, hätten die W._ AG beziehungsweise die Bank B._ doch auch dann nicht unter den von der Beschwerdegegnerin kontaktierten Interessenten figurieren können, wenn die Beschwerdegegnerin eine Liste gemäss Ziff. 4c des Verkaufsauftrags erstellt hätte, weil die Beschwerdeführerin die Beschwerdegegnerin in Verletzung der vertraglichen Vereinbarung von den Verhandlungen mit W._ AG/Bank B._ bewusst fernhielt. Aus diesem vertragswidrigen Verhalten darf der Beschwerdeführerin kein Vorteil erwachsen, indem sie sich gestützt darauf ihrer Provisionspflicht entschlagen könnte (vgl. BGE 114 II 79 E. 3a S. 81).
3.3 Die Vorinstanz erkannte somit im Ergebnis bundesrechtskonform, die Bestreitung der Provisionspflicht unter Berufung auf die fehlende Auflistung der W._ AG/Bank B._ verdiene keinen Rechtsschutz. An diesem Ergebnis würde sich auch nichts ändern, wenn dargetan wäre, dass die Beschwerdeführerin die Beschwerdegegnerin über die Verhandlungen mit der nachmaligen Käuferschaft informiert hätte, wie sie in der Beschwerde vorbringt, nachdem für das Bundesgericht verbindlich feststeht, dass die Beschwerdeführerin die Beschwerdegegnerin von der Teilnahme an den Gesprächen ausschloss.
4. Die Vorinstanz hielt der für den Eventualfall der Gutheissung eines Provisionsanspruchs erhobenen Verrechnungseinrede entgegen, es sei nach allgemeiner Lebenserfahrung anzunehmen, die Beschwerdeführerin habe mit Fr. 11,125 Mio. bereits den höchstmöglichen Kaufpreis erzielt, unabhängig davon, ob ihr eine Vermittlungsprovision anfiel oder nicht. Die Beschwerdeführerin wendet vor Bundesgericht einzig ein, es sei nach der Lebenserfahrung üblich, zusätzliche Kosten wie Vermittlergebühren in die Kaufpreisberechnung einfliessen zu lassen. Wenn die Vorinstanz im Ergebnis davon ausgeht, nach der allgemeinen Lebenserfahrung sei für den Käufer der Gesamtpreis massgebend, weshalb nicht davon auszugehen sei, die Beschwerdeführerin hätte mit Blick auf die Vermittlungsgebühren einen höheren Preis verlangen können, ist dies nicht zu beanstanden. Dass die Beschwerdeführerin entgegen der Annahme der Vorinstanz in der Lage gewesen wäre, tatsächlich einen um die geschuldete Provision erhöhten Kaufpreis zu erzielen, legt sie nicht dar und ist nicht ersichtlich.
5. Aus den dargelegten Gründen ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang wird die Beschwerdeführerin für das bundesgerichtliche Verfahren kosten- und entschädigungspflichtig.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 5'500.-- werden der Beschwerdeführerin auferleg.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 6'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 28. November 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Luczak