Sachverhalt:
A. A.a Die X._ AG (Klägerin und Beschwerdeführerin) und die Y._ AG (Beklagte und Beschwerdegegnerin) schlossen am 12./13. April 2006 einen Baugarantie-Versicherungsvertrag ab. Gestützt auf diesen Vertrag erklärte die Klägerin mit Garantieversprechen vom 13. April 2006, der Z._ AG auf erste Aufforderung hin jeden Betrag bis maximal Fr. 145'286.90 zu zahlen. Dies ungeachtet der Gültigkeit und der Rechtswirkungen des zwischen der Beklagten und der Begünstigten bestehenden Werkvertrags und unter Verzicht auf jegliche Einwendungen und Einreden aus demselben. Zur Geltendmachung der Garantiesumme erforderlich war eine schriftliche Zahlungsaufforderung der Z._ AG und eine schriftliche Bestätigung, wonach die Beklagte ihren vertraglichen Verpflichtungen nicht nachgekommen sei. Das Ende der Gültigkeit der Garantie wurde auf den 30. Juni 2007 festgelegt.
A.b Mit Schreiben vom 19. Dezember 2006 forderte die Z._ AG von der Klägerin die Auszahlung der Garantiesumme in der Höhe von Fr. 145'286.90 mit der Begründung, die Beklagte sei ihren vertraglichen Verpflichtungen nicht nachgekommen.
Mit Schreiben vom 27. Dezember 2006 setzte die Klägerin die Beklagte darüber in Kenntnis. Darauf begründete die Beklagte der Klägerin noch gleichentags schriftlich und dokumentiert, weshalb der Garantiefall nicht eingetreten sei.
Mit Schreiben vom 2. Januar 2007 forderte die Klägerin die Z._ AG sinngemäss auf, anlässlich eines noch zu vereinbarenden Besprechungstermins den Garantiefall zu substanziieren. Eine solche Besprechung kam indessen nicht zustande. Mit Schreiben vom 8. Januar 2007 beharrte die Z._ AG unter Hinweis auf die Abstraktheit der Garantie auf Auszahlung.
Erst mit Schreiben vom 25. Juli 2007 spezifizierte die Z._ AG die Vertragsverletzungen der Beklagten näher. Am 2. August 2007 zahlte die Klägerin schliesslich die Garantiesumme von Fr. 145'286.90 aus.
In der Folge forderte die Klägerin den Betrag von Fr. 145'286.90 von der Beklagten zurück. Diese lehnte die Zahlung ab.
B. B.a Am 11. August 2009 reichte die Klägerin beim Bezirksgericht Arlesheim Klage ein mit dem Begehren, es sei die Beklagte zur Zahlung eines Betrags von Fr. 145'286.90 sowie der Friedensrichterkosten von Fr. 250.-- zu verurteilen.
Mit Urteil vom 12. August 2010 wies das Bezirksgericht Arlesheim die Klage ab.
B.b Gegen dieses Urteil erhob die Klägerin Appellation beim Kantonsgericht Basel-Landschaft mit dem Begehren, es sei das Urteil des Bezirksgerichts Arlesheim aufzuheben und die Beklagte zur Zahlung eines Betrags von Fr. 145'286.90 sowie der Friedensrichterkosten von Fr. 250.-- zu verurteilen.
Mit Urteil vom 14. Juni 2011 wies das Kantonsgericht Basel-Landschaft die Appellation ab.
Zur Begründung führte das Kantonsgericht aus, die Verweigerung der Garantieauszahlung bei Fehlen der entsprechenden Voraussetzungen gehöre zu den auftragsrechtlichen Pflichten des Garanten, deren Verletzung zum Verlust des Auslagen- und Verwendungsersatzes führe. Die Begünstigte sei bei Inanspruchnahme der Garantie zur Substanziierung des Ereignisses verpflichtet, welches den Garantiefall auslöse, selbst wenn dies im Garantieversprechen nicht vorgesehen sei. Da eine solche Substanziierung durch die begünstigte Z._ AG nicht bzw. erst verspätet erfolgt sei, hätte die Klägerin die Auszahlung der Garantiesumme verweigern müssen. Da sie trotz ihres Rechts auf Zahlungsverweigerung die Garantiesumme in Verletzung ihrer vertraglichen Sorgfaltspflichten ausbezahlt habe, stehe ihr gegen die Beklagte kein Regressrecht zu.
C. Mit Beschwerde in Zivilsachen vom 26. August 2011 beantragt die Klägerin dem Bundesgericht, es sei das Urteil des Kantonsgerichts Basel-Landschaft aufzuheben und es sei die Beklagte zur Zahlung eines Betrags von Fr. 145'286.90 sowie der Kosten des Friedensrichters von Fr. 250.-- zu verurteilen.
Die Beklagte und die Vorinstanz beantragen die Abweisung der Beschwerde.
Erwägungen:
1. Die Beschwerde richtet sich gegen einen verfahrensabschliessenden Entscheid (Art. 90 BGG) einer oberen kantonalen Instanz, die auf ein Rechtsmittel hin kantonal letztinstanzlich in einer Zivilsache entschieden hat (Art. 75 i.V.m. Art. 72 BGG), die Rechtsbegehren der Beschwerdeführerin sind im kantonalen Verfahren nicht geschützt worden (Art. 76 Abs. 1 BGG), der massgebende Streitwert beträgt mehr als Fr. 30'000.-- (Art. 51 i.V.m. Art. 74 Abs. 1 lit. b BGG) und die Beschwerdefrist ist eingehalten (Art. 100 Abs. 1 i.V.m. Art. 46 Abs. 1 lit. b BGG). Auf die Beschwerde ist somit unter Vorbehalt einer hinreichenden Begründung (Art. 42 Abs. 2 i.V.m. Art. 106 Abs. 2 BGG) einzutreten.
2. 2.1 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 133 II 249 E. 1.2.2). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen (vgl. BGE 133 II 249 E. 1.4.3; 133 III 350 E. 1.3, 393 E. 7.1, 462 E. 2.4). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (BGE 133 II 249 E. 1.4.3), ebenso wenig auf Vorbringen, die in den tatsächlichen Feststellungen der Vorinstanz keine Stütze finden, ohne dass dazu eine taugliche Sachverhaltsrüge im vorstehenden Sinne substanziiert wird, oder auf Rügen, die auf solchen Vorbringen aufbauen.
2.2 Diese Grundsätze verkennt die Beschwerdeführerin, wenn sie in ihrer Beschwerdebegründung von den tatsächlichen Feststellungen der Vorinstanz abweicht oder diese erweitert, ohne substanziiert Ausnahmen von der Sachverhaltsbindung gemäss Art. 105 Abs. 2 und Art. 97 Abs. 1 BGG geltend zu machen. Damit ist die Beschwerdeführerin nicht zu hören.
3. Die Beschwerdeführerin rügt, die Vorinstanz habe Bundesrecht verletzt, indem diese von einer Substanziierungspflicht der Begünstigten ausgegangen sei, obwohl dies im Garantieversprechen nicht vorgesehen sei. Nach ständiger Rechtsprechung des Bundesgerichts könne der Garant der Begünstigten keine anderen Einreden entgegenhalten als diejenigen, die aus dem Garantievertrag hervorgingen. Dabei sei vom Wortlaut der entsprechenden Klausel auszugehen. Dieser Grundsatz der Garantiestrenge folge aus der Unabhängigkeit der Garantie von den dieser zugrunde liegenden Rechtsverhältnissen. Würde der Begünstigten unabhängig vom Wortlaut des Garantieversprechens stets eine Substanziierungspflicht auferlegt, verliere der Grundsatz der Garantiestrenge inhaltlich jegliche Bedeutung. Einwendungen aus dem Grundverhältnis könnten nur auf das Garantieverhältnis durchschlagen, wenn der Abruf der Garantie geradezu rechtsmissbräuchlich erfolge.
3.1 Die Vorinstanz hat ausgeführt, in der Lehre sei umstritten, ob der Begünstigte bei Inanspruchnahme der Garantie das Ereignis, welches den Garantiefall auslöse, auch dann näher umschreiben müsse, wenn der Garantietext keine oder nur eine allgemein formulierte Erklärung enthalte. Die rechtsmissbräuchliche Ausnützung einer formalen Rechtsposition sei nicht zulässig, weshalb auf eine Pflicht des Begünstigten zur Substanziierung des Garantiefalls auch beim Vorliegen eines Garantieversprechens mit Sofortzahlungsklausel und Ausschluss von Einreden und Einwendungen nicht verzichtet werden könne. Sonst wäre der Nachweis des Rechtsmissbrauchs derart erschwert, dass der Garant dem Begünstigten den Einwand der rechtsmissbräuchlichen Garantieziehung kaum je entgegenhalten könnte. An die Substanziierung seien indessen keine allzu grossen Ansprüche zu stellen. Es genüge, wenn der Begünstigte den Tatbestand, welcher den Eintritt des Garantiefalls auslöse, kurz umschreibe, indem er z.B. bei einer Erfüllungsgarantie angebe, dass er diese wegen mangelhafter oder verzögerter Werkausführung in Anspruch nehme.
Vorliegend habe die Begünstigte lediglich die Garantie angefordert und die formelle Erklärung einer Vertragsverletzung durch die Beschwerdegegnerin abgegeben. Dies genüge für die durch die Beschwerdeführerin vorzunehmende grobe Prüfung der Frage, ob die Ziehung der Garantie rechtsmissbräuchlich erfolge, in keiner Weise. Eine nähere Spezifizierung sei erst am 25. Juli 2007 und damit nach Ablauf der Garantie erfolgt. Da die Beschwerdeführerin trotz ihres Rechts auf Zahlungsverweigerung die Garantiesumme in Verletzung ihrer vertraglichen Sorgfaltspflichten ausbezahlt habe, stehe ihr gegen die Beklagte kein Regressrecht zu. Damit könne die Frage offenbleiben, ob überhaupt eine rechtsmissbräuchliche Inanspruchnahme der Garantie erfolgt sei.
3.2 Wird eine Garantie i.S.v. Art. 111 OR ausgestellt, so ist der Garant unbesehen eines allfälligen Streites über den Grundvertrag zur Zahlung verpflichtet, sofern die im Garantieversprechen umschriebenen Voraussetzungen erfüllt sind (BGE 131 III 511 E. 4.2 S. 524; 122 III 321 E. 4a S. 322; 122 III 273 E. 3a/aa S. 275). Die Unabhängigkeit der Garantie findet ihre Grenzen dort, wo sie offensichtlich rechtsmissbräuchlich beansprucht wird (BGE 131 III 511 E. 4.6). In diesem Fall ist der in Anspruch genommene Garant nicht nur berechtigt, sondern gegenüber dem Garantiesteller auch verpflichtet, die Zahlung zu verweigern (BGE 122 III 321 E. 4a S. 322 f.).
3.3 In der Lehre wird die Meinung vertreten, dass der Begünstigte einer Garantie mit Sofortzahlungsklausel ("auf erstes Anfordern") bei Inanspruchnahme das Ereignis, welches den Garantiefall auslöst, auch dann näher umschreiben muss, wenn der Garantietext keine oder nur eine allgemein formulierte Erklärung verlangt (MAURO SPAINI, Die Bankgarantie und ihre Erscheinungsformen bei Bauarbeiten, 2000, S. 102; CLAUS-WILHELM CANARIS, Grosskommentar HGB, Bankvertragsrecht, Erster Teil, 4. Aufl. 1988, N. 1130, je mit Hinweisen). Dies wird damit begründet, dass die rechtsmissbräuchliche Ausnützung einer formalen Rechtsposition nicht zulässig sei (SPAINI, a.a.O., S. 102). Ohne eine gewisse Substanziierung könne die Bank keine Schlüssigkeitsprüfung vornehmen und habe auch keine Grundlage für die Erkenntnis eines etwaigen Rechtsmissbrauchs (CANARIS, a.a.O., N. 1130 S. 767).
Dem wird entgegengehalten, eine Substanziierungspflicht widerspreche der streng formalisierten Betrachtungsweise, die allein auf den Wortlaut der Garantieklausel abstelle (CARLO LOMBARDINI, Droit bancaire suisse, 2. Aufl. 2008, S. 600 N. 96; JÜRGEN DOHM, Bankgarantien im internationalen Handel, 1985, N. 198 f.). Die Voraussetzungen für den Abruf der Garantiesumme würden einzig durch das Garantieversprechen festgelegt (ANDRES BÜSSER, Einreden und Einwendungen der Bank als Garantin gegenüber dem Zahlungsanspruch des Begünstigten, 1997, N. 896 ff.; BEAT KLEINER, Bankgarantie, 4. Aufl. 1990, N. 21.04 f., 21.09; DANIEL GUGGENHEIM, Les contrats de la pratique bancaire suisse, 4. Aufl. 2000, S. 341). Bestünden keine weiteren Zahlungsvoraussetzungen und Formvorschriften, so werde die Zahlungspflicht der Garantin mit dem Empfang der formlosen Abruferklärung ausgelöst (DIETER ZOBL, Die Bankgarantie im schweizerischen Recht, in: Berner Bankrechtstag, Personalsicherheiten, 2007, S. 45 f.).
3.4 In Bezug auf den Eintritt des Garantiefalls gilt nach der bundesgerichtlichen Rechtsprechung eine streng formalisierte Betrachtungsweise, die allein auf den Wortlaut der Garantieklausel abstellt. Der Begünstigte muss dem Garanten gegenüber nur die (aber auch alle) Voraussetzungen erfüllen, die in der jeweiligen Garantieklausel als Bedingung für das Entstehen der Zahlungspflicht des Garanten ihm gegenüber festgelegt sind (BGE 122 III 321 E. 4a S. 322; 122 III 273 E. 3a). So kann der Garant etwa keine Vorleistungen verlangen, die sich nicht eindeutig aus dem Garantietext ergeben (Urteil 4C.144/2003 vom 10. September 2003 E. 2.2).
3.5 Diese Grundsätze sind nicht vereinbar mit einer Verpflichtung des Begünstigten, den Eintritt des Garantiefalls über den Wortlaut der Garantieklausel hinausgehend näher zu substanziieren. Es liegt vielmehr in der Verantwortung der Garantin, sämtliche Voraussetzungen für die Auszahlung der Garantiesumme im Garantieversprechen aufzuführen. Der Begünstigte ist insofern in seinem Vertrauen auf den Inhalt des Garantieversprechens zu schützen (vgl. Urteil 4C.144/2003 vom 10. September 2003 E. 2.2). Vorliegend wurden zum Abruf der Garantie eine schriftliche Zahlungsaufforderung der Z._ AG und eine schriftliche Bestätigung vorausgesetzt, wonach die Beschwerdegegnerin ihren vertraglichen Verpflichtungen nicht nachgekommen sei. Entgegen den Ausführungen der Vorinstanz konnte die Beschwerdeführerin von der Z._ AG nicht eine über den Wortlaut des Garantieversprechens hinausgehende Substanziierung verlangen, inwiefern der Vertrag verletzt worden sei. Indem die Vorinstanz mit dieser Begründung eine Verletzung der vertraglichen Sorgfaltspflichten der Beschwerdeführerin angenommen und folglich deren Regressrecht verneint hat, hat sie Bundesrecht verletzt.
4. Die Vorinstanz hat in ihrem Urteil diverse Fragen offen gelassen, so insbesondere diejenige, ob der Baugarantie-Versicherungsvertrag vom 12./13. April 2006 auslegungsbedürftig sei und in welchem Sinn er gegebenenfalls auszulegen sei. Über den Inhalt dieses Vertrags bestehen im vorinstanzlichen Urteil keine Feststellungen. Damit fehlen dem Bundesgericht die tatsächlichen Grundlagen für einen reformatorischen Entscheid, weshalb die Sache an das Kantonsgericht zur Ergänzung des Sachverhalts und neuem Entscheid zurückzuweisen ist.
5. Nach dem Gesagten ist die Beschwerde gutzuheissen, das vorinstanzliche Urteil aufzuheben und die Sache zu neuer Beurteilung an die Vorinstanz zurückzuweisen. Bei diesem Verfahrensausgang wird die Beschwerdegegnerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, das Urteil des Kantonsgerichts Basel-Landschaft vom 14. Juni 2011 wird aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2. Die Gerichtskosten von Fr. 4'500.-- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 5'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht Basel-Landschaft, Abteilung Zivilrecht, schriftlich mitgeteilt.
Lausanne, 13. Februar 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Die Gerichtsschreiberin: Schreier