Sachverhalt: A. Die Y._ S.p.A. (Beschwerdegegnerin) ist eine italienische Gesellschaft, deren Zweck gemäss Handelsregisterauszug der Zweigniederlassung mit Sitz in Wolhusen der Bau von Wasser- und Abwasserleitungen, Erdgas- und Ölleitungen, Strassenbau sowie weiteren Tätigkeiten auf dem Gebiet der Konstruktion und Wartung von Bauten und Anlagen ist. Im Rahmen eines öffentlichen Ausschreibungsverfahrens im Frühjahr 1999 wurde die Beschwerdegegnerin von der A._ AG beauftragt, die Transitgasleitung des internationalen Erdgastransportsystems in einem bestimmten Abschnitt neu zu erstellen. Einen Teil der dafür notwendigen Tiefbauarbeiten vergab die Beschwerdegegnerin an zwei schweizerische Tiefbauunternehmen. Auf Verlangen von nicht berücksichtigten Baufirmen und Verbandsmitgliedern liess die Paritätische Berufskommission Bauhauptgewerbe Kanton Luzern (Beschwerdeführerin) Lohnbuchkontrollen bei der Beschwerdegegnerin durchführen. Mit Beschluss vom 10. Oktober 2000 stellte die Beschwerdeführerin gestützt auf die Lohnbuchkontrollen fest, dass die Beschwerdegegnerin ihren Mitarbeitern von April bis November 1999 insgesamt Fr. 1'048'877.75 brutto an geldwerten Leistungen vorenthalten sowie gegen verschiedene Bestimmungen des Landesmantelvertrags für das Bauhauptgewerbe 1998 - 2000 vom 13. Februar 1998 (LMV 2000) verstossen haben soll, und auferlegte ihr eine Konventionalstrafe in der Höhe von Fr. 786'000.-- sowie die Kontroll-, Neben- und Verfahrenskosten im Betrag von insgesamt Fr. 39'896.10. B. B.a Die Beschwerdegegnerin focht diesen Entscheid mit Klage vom 28. Oktober 2000 beim Amtsgericht Luzern-Stadt an, im Wesentlichen mit dem Begehren, der Entscheid der Beschwerdeführerin sei aufzuheben und es sei festzustellen, dass die Beschwerdegegnerin dem LMV 2000 nicht unterstehe bzw. eventualiter, dass sie den LMV 2000 nicht verletzt habe. Mit Urteil vom 26. Juli 2006 stellte das Amtsgericht Luzern-Stadt in teilweiser Gutheissung der Klage fest, dass die Beschwerdegegnerin den LMV 2000 hinsichtlich der Überstundenregelung nicht verletzt hat. Im Übrigen wurde die Klage abgewiesen und der Entscheid der Beschwerdeführerin vom 10. Oktober 2000 bestätigt. Die Beschwerdegegnerin wurde daher verpflichtet, der Beschwerdeführerin eine Konventionalstrafe in der Höhe von Fr. 786'000.-- zuzüglich Verfahrenskosten von Fr. 39'896.10 zu bezahlen. B.b Auf Appellation der Beschwerdegegnerin hob das Obergericht des Kantons Luzern den Beschluss der Beschwerdeführerin vom 10. Oktober 2000 mit Urteil vom 23. Mai 2007 auf und stellte fest, dass die Beschwerdegegnerin dem LMV 2000 nicht untersteht. B.c Mit Urteil vom 8. November 2007 hiess das Bundesgericht die von der Beschwerdeführerin gegen diesen Entscheid erhobene Beschwerde in Zivilsachen teilweise gut, soweit darauf eingetreten werden konnte. Es hob das Urteil des Obergerichts des Kantons Luzern vom 23. Mai 2007 auf und wies die Sache zur Ergänzung des Sachverhalts und zu neuer Entscheidung an das Obergericht zurück (Urteil 4A_256/2007 vom 8. November 2007). Das Bundesgericht erwog, dass die Vorinstanz bundesrechtliche Grundsätze verkannt habe, soweit sie wegen der konkurrenzlosen Spezialtätigkeit im Rohrleitungsbau unbesehen der weiteren Bauarbeiten, die von der Beschwerdegegnerin angeboten wurden, die Unterstellung unter den LMV 2000 verneinte. Den tatsächlichen Feststellungen im angefochtenen Entscheid liess sich jedoch nicht entnehmen, welchen Umfang und welche Bedeutung die von der Beschwerdegegnerin ausgeführten Bauarbeiten im Vergleich zu anderen Tätigkeiten im Betrieb der Beschwerdegegnerin aufwiesen, mit denen sich diese im Wettbewerb behaupten musste. Ebensowenig ergab sich daraus, ob die fraglichen Bauarbeiten von Hilfskräften ausgeführt wurden oder ob sie allenfalls von den Spezialisten selber erbracht wurden. Sollte Letzteres zutreffen, weil sich die Arbeiten etwa nicht vernünftig von den Spezialwissen erfordernden Aufgaben trennen lassen und dementsprechend der Beizug nicht spezialisierter Arbeitskräfte unrentabel wäre, läge in Bezug auf diese Arbeiten grundsätzlich keine direkte Konkurrenzsituation vor. Auf der Grundlage der Feststellungen im angefochtenen Entscheid liess sich demnach nicht beurteilen, ob die Vorinstanz die Unterstellung des Betriebs der Beschwerdegegnerin in der Schweiz unter den allgemeinverbindlich erklärten LMV 2000 im Ergebnis zutreffend verneinte. B.d Nach Durchführung einer Appellationsverhandlung hob das Obergericht des Kantons Luzern den Beschluss der Beschwerdeführerin vom 10. Oktober 2000 mit Urteil vom 15. Mai 2008 erneut auf und wies das Feststellungsbegehren der Beschwerdegegnerin ab. Das Obergericht erachtete die tatsächlichen Voraussetzungen für eine Unterstellung der Beschwerdegegnerin unter den LMV 2000 als nicht genügend substantiiert und bewiesen. Insbesondere habe die Beschwerdeführerin weder genügend substantiiert noch Beweis dafür angeboten, in welchem Umfang die Beschwerdegegnerin von den Pipelinearbeiten trennbare Tiefbauarbeiten selber ausgeführt habe und sich diesbezüglich mit anderen Tiefbauunternehmen auf dem Markt behaupten musste. Dies habe die Beschwerdeführerin im kantonalen Verfahren in keiner ihrer Rechtsschriften und Beweiseingaben getan. Damit fehlten nach Ansicht des Obergerichts die Grundlagen für eine Konventionalstrafe, zumal auch keine Bemessungskriterien zur Verfügung stünden, solange nicht bekannt sei, in welchem Umfang der Tätigkeiten eine Vertragsverletzung vorliegen soll. C. Mit Beschwerde in Zivilsachen vom 30. Juni 2008 beantragt die Beschwerdeführerin dem Bundesgericht, das Urteil des Obergerichts des Kantons Luzern vom 15. Mai 2008 sei aufzuheben und das Urteil des Amtsgerichts Luzern-Stadt vom 26. Juli 2006 sei zu bestätigen. In prozessualer Hinsicht verlangt sie die Erteilung der aufschiebenden Wirkung. Die Beschwerdegegnerin beantragt in ihrer Antwort, die Beschwerde sei abzuweisen und das Urteil des Obergerichts des Kantons Luzern vom 15. Mai 2008 sei zu bestätigen. Im Weiteren sei festzustellen, dass die Beschwerdegegnerin dem LMV 2000 nicht unterstehe. Das Obergericht des Kantons Luzern beantragt in seiner Vernehmlassung, die Beschwerde sei abzuweisen, soweit auf sie eingetreten werden könne. D. Mit Verfügung vom 28. August 2008 erteilte das Bundesgericht der Beschwerde aufschiebende Wirkung.