Sachverhalt:
A. Mit Gesuch vom 14. Juni 2011 (Posteingang 16. Juni 2011) an das Handelsgericht des Kantons Zürich verlangte die X._ AG die superprovisorische und die vorläufige Eintragung eines Bauhandwerkerpfandrechts zulasten des im Eigentum der Stiftung Y._ stehenden Grundstücks Grundbuchblatt xxxx, Liegenschaft, Kataster-Nr. yyyy, in A._, im Betrag von Fr. 91'265.20 zuzüglich Zins.
Der Einzelrichter des Handelsgerichts trat auf das Gesuch mit Verfügung vom 16. Juni 2011 nicht ein, da das Handelsgericht für die vorläufige Eintragung von Bauhandwerkerpfandrechten nicht zuständig sei. Sachlich zuständig sei vielmehr das örtlich kompetente Bezirksgericht.
B. Mit Verfügung vom 17. Juni 2011 trat auch der Einzelrichter des Bezirksgerichts Zürich wegen sachlicher Unzuständigkeit auf das entsprechende Gesuch nicht ein. Auf Berufung der X._ AG hin wies das Obergericht des Kantons Zürich das Grundbuchamt A._ am 20. Juni 2011 superprovisorisch an, das beantragte Pfandrecht vorläufig einzutragen. Nach Gewährung des rechtlichen Gehörs hielt das Obergericht die vorläufige Eintragung mit Verfügung vom 12. Juli 2011 einstweilen aufrecht und sistierte das Verfahren bis zum bundesgerichtlichen Entscheid in der Zuständigkeitsfrage. Zugleich wies es darauf hin, dass es das Handelsgericht und nicht das Bezirksgericht für zuständig erachten würde.
C. Am 4. Juli 2011 hat die X._ AG (Beschwerdeführerin) gegen den Nichteintretensentscheid des Handelsgerichts vom 16. Juni 2011 Beschwerde in Zivilsachen erhoben. Sie beantragt die Aufhebung der angefochtenen Verfügung und ersucht um Bestätigung der zwischenzeitlich durch das Obergericht erfolgten vorläufigen Eintragung. Eventualiter sei das Verfahren an das Handelsgericht zur Bestätigung zurückzuweisen. Zudem sei das Grundbuchamt superprovisorisch anzuweisen, die provisorisch vorgenommene vorläufige Eintragung im Falle der Rückweisung an das Handelsgericht bis zum rechtskräftigen Entscheid im Massnahmeverfahren des zuständigen kantonalen Gerichts nicht zu löschen.
Das Bundesgericht hat die beantragte superprovisorische Massnahme am 5. Juli 2011 erlassen. Nachdem das Handelsgericht auf Stellungnahme zum Gesuch um die vorsorgliche Massnahme verzichtet und die Stiftung Y._ (Beschwerdegegnerin) sich ablehnend geäussert hat, ist das Grundbuchamt mit Präsidialverfügung vom 19. Juli 2011 angewiesen worden, die provisorisch vorgenommene vorläufige Eintragung bis zum Entscheid des Bundesgerichts nicht zu löschen.
In der Sache haben das Obergericht und die Beschwerdegegnerin auf Vernehmlassung verzichtet, während das Handelsgericht sinngemäss um Abweisung der Beschwerde ersucht.
Erwägungen:
1. 1.1 Angefochten ist binnen Frist (Art. 100 Abs. 1 BGG) ein Entscheid des Handelsgerichts, in dem die Zuständigkeit zur vorläufigen Eintragung eines Bauhandwerkerpfandrechts verneint wurde. Es handelt sich um einen Endentscheid (Art. 90 BGG; vgl. Urteil 5A_509/2011 vom 18. Oktober 2011 E. 1.2.2 zur Gesuchsabweisung) in einer Zivilsache (Art. 72 Abs. 1 BGG), wobei der erforderliche Streitwert überschritten ist (Art. 74 Abs. 1 lit. b BGG).
1.2 Wenn eine Behörde auf eine ihr frist- und formgerecht unterbreitete Sache nicht eintritt, obschon sie darüber befinden müsste, liegt eine formelle Rechtsverweigerung vor (Verstoss gegen Art. 29 Abs. 1 BV; BGE 135 I 6 E. 2.1 S. 9 mit Hinweis). Ob eine Rechtsverweigerung vorliegt, prüft das Bundesgericht frei (BGE 127 I 133 E. 5 S. 136 mit Hinweisen; zum überspitzten Formalismus als Sonderform der Rechtsverweigerung ebenso BGE 135 I 6 E. 2.1 S. 9 mit Hinweisen). Es ist deshalb unter freier Auslegung der ZPO zu prüfen, ob der Nichteintretensentscheid des Handelsgerichts eine Rechtsverweigerung darstellt.
2. Gemäss Art. 6 Abs. 5 ZPO ist das Handelsgericht für die Anordnung vorsorglicher Massnahmen vor Eintritt der Rechtshängigkeit einer Klage zuständig. Vorausgesetzt ist, dass es in der (noch nicht hängigen) Hauptsache zuständig sein wird. Das Handelsgericht hat seine Zuständigkeit zur vorläufigen Eintragung eines Bauhandwerkerpfandrechts aus systematischen Gründen verneint: Das summarische Verfahren sei im 5. Titel der ZPO geregelt (Art. 248 ff. ZPO). Art. 248 ZPO liste die Summarsachen auf. Gemäss lit. a von Art. 248 ZPO sei das summarische Verfahren in den vom Gesetz bestimmten Fällen anwendbar und gemäss lit. d dieser Norm für die vorsorglichen Massnahmen. Fälle gemäss lit. a von Art. 248 ZPO würden in nicht abschliessender Weise in Art. 249 ff. ZPO aufgezählt. In Art. 249 lit. d Ziff. 5 ZPO werde die vorläufige Eintragung gesetzlicher Grundpfandrechte genannt, worunter auch die vorläufige Eintragung eines Bauhandwerkerpfandrechts falle. Nach der klaren Systematik der ZPO handle es sich bei der vorläufigen Eintragung des Bauhandwerkerpfandrechts folglich nicht um eine vorsorgliche Massnahme. Die vorsorglichen Massnahmen (Art. 261 ff. ZPO) seien vielmehr durch ein eigenes Kapitel im 5. Titel der ZPO (5. Kapitel mit der Überschrift "Vorsorgliche Massnahmen und Schutzschrift") klar abgegrenzt von den anderen Geschäften des summarischen Verfahrens. Dass in anderen Gesetzen wie dem BGG eine andere Begrifflichkeit gelte, ändere daran nichts.
3. 3.1 Es trifft zu, dass die vorläufige Eintragung des Bauhandwerkerpfandrechts unter die Aufzählung gesetzlicher Pfandrechte in Art. 249 lit. d Ziff. 5 ZPO fällt. Diese Bestimmung verweist ausdrücklich auf die Art. 837 bis 839 ZGB. Mittelbar wird die vorläufige Eintragung des Bauhandwerkerpfandrechts von Art. 249 lit. d ZPO sogar ein zweites Mal erfasst, nämlich von Ziffer 11. Dort wird unter anderem die Vormerkung vorläufiger Eintragungen im Streitfall gemäss Art. 961 Abs. 1 Ziff. 1 ZGB aufgeführt. Auf diese Norm stützt sich die vorläufige Eintragung eines Bauhandwerkerpfandrechts gemäss Art. 22 Abs. 4 der Verordnung vom 22. Februar 1910 betreffend das Grundbuch (GBV [SR 211.432.1]; BGE 126 III 462 E. 2c/aa S. 465 mit Hinweisen).
3.2 Aus diesen systematischen Gegebenheiten kann jedoch nicht abgeleitet werden, die vorläufige Eintragung eines Bauhandwerkerpfandrechts sei keine vorsorgliche Massnahme. Art. 248 ZPO sieht das Summarverfahren für unterschiedliche Tatbestände vor, ordnet sie aber nicht nach einem einheitlichen Gesichtspunkt. Soweit von der Sache her möglich, ist es nicht ausgeschlossen, dass eine Angelegenheit sowohl unter lit. a wie auch unter eine der anderen Kategorien von Art. 248 ZPO fällt. Deutlich zu erkennen ist dies bei Angelegenheiten der freiwilligen Gerichtsbarkeit. Sie unterstehen gestützt auf Art. 248 lit. e ZPO dem summarischen Verfahren. Viele Einzeltatbestände freiwilliger Gerichtsbarkeit sind zusätzlich von Gesetzes wegen (Art. 248 lit. a ZPO) dem Summarium zugeordnet, indem sie in den Katalogen von Art. 249 f. ZPO ausdrücklich erwähnt werden (z.B. die Entgegennahme eines mündlichen Testaments nach Art. 249 lit. c Ziff. 1 ZPO). Die ausdrückliche Erwähnung in Art. 249 ZPO dient in diesen Fällen immerhin der Anschaulichkeit und der Klarstellung. Aus der Tatsache, dass eine Angelegenheit von Gesetzes wegen dem Summarium untersteht und im Katalog von Art. 249 ZPO erwähnt wird, können keine Schlüsse auf die Rechtsnatur derselben gezogen werden. Die in Art. 249 ZPO aufgezählten Fälle unterscheiden sich stark. Neben den erwähnten Tatbeständen freiwilliger Gerichtsbarkeit enthält die Aufzählung etwa auch Fälle streitiger Gerichtsbarkeit (z.B. den Anspruch auf Gegendarstellung nach Art. 249 lit. a Ziff. 1 ZPO). Die in Art. 249 ZPO genannten Tatbestände haben somit keine andere Gemeinsamkeit, als dass sie alle im Summarverfahren zu erledigen sind (vgl. für eine Systematisierung I. MEIER, Schweizerisches Zivilprozessrecht, 2010, S. 366 ff.).
Auf die Systematik des 5. Titels der ZPO kann folglich für die Auslegung des Begriffs der vorsorglichen Massnahme in Art. 6 Abs. 5 ZPO nicht entscheidend abgestellt werden. Vielmehr ist im Einzelfall zu untersuchen, ob eine bestimmte Anordnung die wesentlichen Begriffsmerkmale einer vorsorglichen Massnahme (Art. 261 ff. ZPO) erfüllt. Der in Art. 6 Abs. 5 ZPO verwendete Begriff der vorsorglichen Massnahme ist mit demjenigen von Art. 261 ff. ZPO identisch. Zu prüfen bleibt demnach, ob die vorläufige Eintragung eines Bauhandwerkerpfandrechts eine vorsorgliche Massnahme gemäss Art. 261 ff. ZPO und Art. 6 Abs. 5 ZPO darstellt.
3.3 Nach Art. 839 Abs. 2 ZGB hat die Eintragung des Pfandrechts der Handwerker und Unternehmer bis spätestens drei Monate nach der Vollendung ihrer Arbeit zu geschehen. Die Eintragung muss tatsächlich erfolgt sein; es genügt nicht, sie innert Frist zu verlangen. Es handelt sich um eine Verwirkungsfrist, für deren Wahrung die vorläufige Eintragung in Gestalt einer Vormerkung ausreicht (Art. 961 Abs. 1 Ziff. 1 ZGB i.V.m. Art. 22 Abs. 4 GBV). Die vorläufige Eintragung bewirkt, dass das durch die spätere definitive Eintragung geschaffene Pfandrecht in seinen Wirkungen auf den Tag der vorläufigen Eintragung zurückbezogen wird (Art. 961 Abs. 2 i.V.m. Art. 972 ZGB; BGE 126 III 462 E. 2c/aa S. 464 f. mit Hinweisen). Durch den Fristablauf verliert der Berechtigte seinen Anspruch auf Pfandrechtseintragung und in der Folge auch die Aussicht auf pfandrechtliche Sicherung seiner Forderung. Die vorläufige Eintragung bezweckt, diesen drohenden, nicht wieder gutzumachenden Rechtsnachteil abzuwenden. Ihre praktische Bedeutung ist ausserordentlich gross, weil der Prozess auf definitive Eintragung kaum je innerhalb der Dreimonatsfrist abgeschlossen sein wird und Gesuche um Eintragung des Bauhandwerkerpfandrechts in aller Regel erst kurz vor Fristablauf gestellt werden. Die vorläufige, allenfalls sogar superprovisorische Eintragung des Bauhandwerkerpfandrechts ist demnach geradezu ein Musterbeispiel vorsorglichen Rechtsschutzes (vgl. Art. 261 ZPO). Entsprechend sieht Art. 262 lit. c ZPO als möglichen Inhalt einer vorsorglichen Massnahme die gerichtliche Anweisung an eine Registerbehörde ausdrücklich vor (vgl. Botschaft vom 28. Juni 2006 zur Schweizerischen Zivilprozessordnung [ZPO], BBl 2006 7355 Ziff. 5.19 zu Art. 258 des Entwurfs [fortan: Botschaft ZPO]). Auch weitere Bestimmungen des Massnahmeverfahrens (etwa über die Ansetzung einer Klagefrist und superprovisorische Massnahmen) sind auf die vorläufige Eintragung des Bauhandwerkerpfandrechts anwendbar. Der Qualifikation als vorsorgliche Massnahme tut keinen Abbruch, dass an die Glaubhaftmachung (Art. 961 Abs. 3 ZGB) der Voraussetzungen für die vorläufige Bauhandwerkerpfandrechtseintragung weniger strenge Anforderungen gestellt werden, als es diesem Beweismass, das auch für vorsorgliche Massnahmen gilt (Art. 261 Abs. 1 ZPO), sonst entspricht (BGE 86 I 265 E. 3 S. 269 f.; Urteil 5A_777/2009 vom 1. Februar 2010 E. 4.1 mit Hinweisen). Schliesslich bezeichnen auch die Publikationen zur neuen eidgenössischen ZPO die vorläufige Eintragung eines Bauhandwerkerpfandrechts als Anwendungsfall vorsorglichen Rechtsschutzes (JENT-SØRENSEN, in: Kurzkommentar ZPO, 2010, N. 18 zu Art. 249 ZPO; KAUFMANN, in: Brunner und andere [Hrsg.], Schweizerische Zivilprozessordnung [ZPO], 2011, N. 5 zu Art. 249 ZPO; MAZAN, in: Basler Kommentar, Schweizerische Zivilprozessordnung, 2010, N. 19 zu Art. 249 ZPO; I. MEIER, a.a.O., S. 367, SPRECHER, in: Basler Kommentar, a.a.O., N. 18 2. Lemma zu Art. 262 ZPO; SCHUMACHER, Das Bauhandwerkerpfandrecht, Ergänzungsband zur 3. Auflage, 2011, Rz. 540 ff. und Rz. 574; TREZZINI, in: Commentario al Codice di diritto processuale civile svizzero [CPC], 2011, S. 1109; WALTHER, Eintragung provisorischer Bauhandwerkerpfandrechte nach neuer ZPO - ein Fall für die Handelsgerichte?, SZZP 7/2011 S. 450). Die vorläufige Eintragung eines Bauhandwerkerpfandrechts entspricht somit in den relevanten Gesichtspunkten einer vorsorglichen Massnahme, wie sie in Art. 261 ff. ZPO umrissen wird.
3.4 Daraus folgt, dass die vorläufige Eintragung des Bauhandwerkerpfandrechts auch in der Begrifflichkeit von Art. 6 Abs. 5 ZPO eine vorsorgliche Massnahme ist. Die Handelsgerichte sind somit zur Beurteilung entsprechender Gesuche zuständig, sofern die Hauptsache handelsrechtlicher Natur ist (Art. 6 Abs. 2 ZPO). Hauptsache ist die definitive Eintragung des Bauhandwerkerpfandrechts, die allenfalls mit einer Forderungsklage auf Zahlung der erbrachten Leistungen verbunden werden kann (vgl. BGE 134 III 16 E. 2.1 S. 19 mit Hinweis). Das Handelsgericht hat sich nicht ausdrücklich dazu geäussert, ob es für die Hauptsache zuständig ist. Es scheint aber davon auszugehen, dass die Hauptsache eine handelsrechtliche Streitigkeit ist. Das Obergericht hat demgegenüber in seiner Verfügung vom 12. Juli 2011 ausdrücklich festgehalten, dass das Handelsgericht den ordentlichen Prozess zweifelsfrei werde annehmen müssen. Diese Frage ist hier nicht zu vertiefen. An dieser Stelle ist einzig zu klären, ob es Gründe gibt, vom Wortlaut von Art. 6 Abs. 5 ZPO abzuweichen und die Handelsgerichte trotz allenfalls gegebener Hauptsachezuständigkeit für die vorsorgliche Massnahme nicht als zuständig zu erachten. Dies ist nicht der Fall. Die in Art. 6 Abs. 5 ZPO vorgesehene Kompetenzattraktion soll nach der bundesrätlichen Botschaft die Einheitlichkeit des Verfahrens fördern (Botschaft ZPO, S. 7262 Ziff. 5.2.1 zu Art. 6 des Entwurfs). Dieser Zweck würde unterlaufen, wenn die Zuständigkeit nach der vom Handelsgericht offenbar vertretenen Konzeption insofern gespalten würde, als die Bezirksgerichte für die vorläufige Eintragung und das Handelsgericht für die Hauptsache zuständig wären. Die Kantone haben im Rahmen von Art. 6 Abs. 5 ZPO keine Möglichkeit, die Zuständigkeit des Handelsgerichts enger zu umschreiben als von Bundesrechts wegen vorgesehen und vorsorgliche Massnahmen von der Zuständigkeit des Handelsgerichts auszunehmen, wenn es in der Hauptsache zuständig ist. Das untere Gericht am Ort des betroffenen Grundstücks (Art. 13 und Art. 29 Abs. 1 lit. c ZPO) kann zwar womöglich mit dem zuständigen Grundbuchamt aufgrund der räumlichen Nähe einfacher kommunizieren als ein Handelsgericht. Dies könnte für Eintragungen kurz vor Fristablauf ein Vorteil sein (vgl. SCHUMACHER, a.a.O. Rz. 560 und 573). Dieser Gesichtspunkt ist für die Auslegung von Art. 6 Abs. 5 ZPO aber nicht relevant. Ob die räumliche Nähe vorliegt, hängt von den Zufälligkeiten der kantonalen Behördenorganisation ab. Sie ist nicht bundesrechtlich vorgeschrieben. In dringenden Fällen ermöglicht Art. 13 Abs. 4 GBV allen Gerichten per Telefon oder auf elektronischem Wege schnelle Grundbuchanmeldungen für Vormerkungen von vorläufigen Eintragungen. In der Vernehmlassung bringt das Handelsgericht vor, eine Aufsplittung der Zuständigkeit zur vorläufigen Eintragung auf das Handelsgericht in handelsrechtlichen Fällen und auf die unteren ordentlichen Gerichte in den übrigen Fällen sei nicht bürgernah und Laien könnten Gefahr laufen, an die falsche Instanz zu gelangen. Dieses Bedenken trifft zwar grundsätzlich zu. Es handelt sich aber um ein Problem, das jeder Sondergerichtsbarkeit innewohnt. Der Gesetzgeber nimmt es offenbar in Kauf, sonst hätte er den Kantonen die Einrichtung von Handelsgerichten nicht gestattet.
3.5 Das Handelsgericht hat sich - wie gesagt - noch nicht zur Natur der Hauptsachestreitigkeit geäussert und ebenso wenig zur Begründetheit des Gesuchs um vorläufige Eintragung des Bauhandwerkerpfandrechts. Entgegen dem Antrag der Beschwerdeführerin kann das Bundesgericht somit die vorläufige Eintragung nicht selber anordnen. Vielmehr ist das Verfahren zur Prüfung der angesprochenen Fragen an das Handelsgericht zurückzuweisen. Die provisorisch vorgenommene vorläufige Eintragung ist aufrechtzuerhalten, bis das Handelsgericht erneut über die Sache geurteilt hat und sein Entscheid nicht mehr mit Beschwerde an das Bundesgericht weitergezogen werden kann.
4. Die Beschwerdeführerin beanstandet des Weiteren, dass ihr das Handelsgericht Gerichtsgebühren von Fr. 5'600.-- auferlegt hat. Die Vorinstanz wird über die Verteilung der Kosten und ihre Höhe nach Beurteilung der Sache neu zu befinden haben. Darauf ist deshalb an dieser Stelle nicht einzugehen.
5. Bei diesem Ausgang des Verfahrens ist auf die Erhebung von Gerichtskosten zu verzichten (Art. 66 Abs. 1 und 4 BGG). Der Kanton Zürich, in dessen Verantwortungsbereich der negative Kompetenzkonflikt fällt, hat der Beschwerdeführerin eine angemessene Parteientschädigung zu entrichten (Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen und die Verfügung des Handelsgerichts des Kantons Zürich vom 16. Juni 2011 aufgehoben. Die Angelegenheit wird an das Handelsgericht zurückgewiesen.
2. Das Grundbuchamt A._ wird angewiesen, die provisorisch vorgenommene vorläufige Eintragung des Bauhandwerkerpfandrechts auf dem Grundstück Grundbuchblatt xxxx, Liegenschaft, Kataster-Nr. yyyy, C._strasse in A._, im Betrage von Fr. 91'265.20 zuzüglich Zins zu 5 % ab 13. April 2011 auf Fr. 33'356.90, ab 20. April 2011 auf Fr. 30'089.65, ab 30. März 2011 auf Fr. 21'600.-- und ab 6. Mai 2011 auf Fr. 6'218.65 bis zur Rechtskraft des Entscheids des Handelsgerichts nicht zu löschen.
3. Es werden keine Gerichtskosten erhoben.
4. Der Kanton Zürich hat die Beschwerdeführerin mit Fr. 3'000.-- zu entschädigen.
5. Dieses Urteil wird den Parteien, dem Handelsgericht des Kantons Zürich, dem Obergericht des Kantons Zürich, II. Zivilkammer, und dem Grundbuchamt A._ schriftlich mitgeteilt.
Lausanne, 9. Dezember 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Zingg