Sachverhalt:
A. Die Y._ S.p.A. (Beschwerdegegnerin) ist eine italienische Gesellschaft, deren Zweck gemäss Handelsregisterauszug der Zweigniederlassung mit Sitz in Wolhusen der Bau von Wasser- und Abwasserleitungen, Erdgas- und Ölleitungen, Strassenbau sowie weiteren Tätigkeiten auf dem Gebiet der Konstruktion und Wartung von Bauten und Anlagen ist.
Im Rahmen eines öffentlichen Ausschreibungsverfahrens im Frühjahr 1999 wurde die Beschwerdegegnerin von der A._ AG beauftragt, die Transitgasleitung des internationalen Erdgastransportsystems in einem bestimmten Abschnitt neu zu erstellen. Einen Teil der dafür notwendigen Tiefbauarbeiten vergab die Beschwerdegegnerin an zwei schweizerische Tiefbauunternehmen. Auf Verlangen von nicht berücksichtigten Baufirmen und Verbandsmitgliedern liess die Paritätische Berufskommission Bauhauptgewerbe Kanton Luzern (Beschwerdeführerin) Lohnbuchkontrollen bei der Beschwerdegegnerin durchführen.
Mit Beschluss vom 10. Oktober 2000 stellte die Beschwerdeführerin gestützt auf die Lohnbuchkontrollen fest, dass die Beschwerdegegnerin ihren Mitarbeitern von April bis November 1999 insgesamt Fr. 1'048'877.75 brutto an geldwerten Leistungen vorenthalten sowie gegen verschiedene Bestimmungen des Landesmantelvertrags für das Bauhauptgewerbe 1998 - 2000 vom 13. Februar 1998 (LMV 2000) verstossen haben soll, und auferlegte ihr eine Konventionalstrafe in der Höhe von Fr. 786'000.-- sowie die Kontroll-, Neben- und Verfahrenskosten im Betrag von insgesamt Fr. 39'896.10.
B. B.a Die Beschwerdegegnerin focht diesen Entscheid mit Klage vom 28. Oktober 2000 beim Amtsgericht Luzern-Stadt an, im Wesentlichen mit dem Begehren, der Entscheid der Beschwerdeführerin sei aufzuheben und es sei festzustellen, dass die Beschwerdegegnerin dem LMV 2000 nicht unterstehe bzw. eventualiter, dass sie den LMV 2000 nicht verletzt habe.
Mit Urteil vom 26. Juli 2006 stellte das Amtsgericht Luzern-Stadt in teilweiser Gutheissung der Klage fest, dass die Beschwerdegegnerin den LMV 2000 hinsichtlich der Überstundenregelung nicht verletzt hat. Im Übrigen wurde die Klage abgewiesen und der Entscheid der Beschwerdeführerin vom 10. Oktober 2000 bestätigt. Die Beschwerdegegnerin wurde daher verpflichtet, der Beschwerdeführerin eine Konventionalstrafe in der Höhe von Fr. 786'000.-- zuzüglich Verfahrenskosten von Fr. 39'896.10 zu bezahlen.
B.b Auf Appellation der Beschwerdegegnerin hob das Obergericht des Kantons Luzern den Beschluss der Beschwerdeführerin vom 10. Oktober 2000 mit Urteil vom 23. Mai 2007 auf und stellte fest, dass die Beschwerdegegnerin dem LMV 2000 nicht untersteht.
B.c Mit Urteil vom 8. November 2007 hiess das Bundesgericht die von der Beschwerdeführerin gegen diesen Entscheid erhobene Beschwerde in Zivilsachen teilweise gut, soweit darauf eingetreten werden konnte. Es hob das Urteil des Obergerichts des Kantons Luzern vom 23. Mai 2007 auf und wies die Sache zur Ergänzung des Sachverhalts und zu neuer Entscheidung an das Obergericht zurück (Urteil 4A_256/2007 vom 8. November 2007).
Das Bundesgericht erwog, dass die Vorinstanz bundesrechtliche Grundsätze verkannt habe, soweit sie wegen der konkurrenzlosen Spezialtätigkeit im Rohrleitungsbau unbesehen der weiteren Bauarbeiten, die von der Beschwerdegegnerin angeboten wurden, die Unterstellung unter den LMV 2000 verneinte. Den tatsächlichen Feststellungen im angefochtenen Entscheid liess sich jedoch nicht entnehmen, welchen Umfang und welche Bedeutung die von der Beschwerdegegnerin ausgeführten Bauarbeiten im Vergleich zu anderen Tätigkeiten im Betrieb der Beschwerdegegnerin aufwiesen, mit denen sich diese im Wettbewerb behaupten musste. Ebensowenig ergab sich daraus, ob die fraglichen Bauarbeiten von Hilfskräften ausgeführt wurden oder ob sie allenfalls von den Spezialisten selber erbracht wurden. Sollte Letzteres zutreffen, weil sich die Arbeiten etwa nicht vernünftig von den Spezialwissen erfordernden Aufgaben trennen lassen und dementsprechend der Beizug nicht spezialisierter Arbeitskräfte unrentabel wäre, läge in Bezug auf diese Arbeiten grundsätzlich keine direkte Konkurrenzsituation vor. Auf der Grundlage der Feststellungen im angefochtenen Entscheid liess sich demnach nicht beurteilen, ob die Vorinstanz die Unterstellung des Betriebs der Beschwerdegegnerin in der Schweiz unter den allgemeinverbindlich erklärten LMV 2000 im Ergebnis zutreffend verneinte.
B.d Nach Durchführung einer Appellationsverhandlung hob das Obergericht des Kantons Luzern den Beschluss der Beschwerdeführerin vom 10. Oktober 2000 mit Urteil vom 15. Mai 2008 erneut auf und wies das Feststellungsbegehren der Beschwerdegegnerin ab. Das Obergericht erachtete die tatsächlichen Voraussetzungen für eine Unterstellung der Beschwerdegegnerin unter den LMV 2000 als nicht genügend substantiiert und bewiesen. Insbesondere habe die Beschwerdeführerin weder genügend substantiiert noch Beweis dafür angeboten, in welchem Umfang die Beschwerdegegnerin von den Pipelinearbeiten trennbare Tiefbauarbeiten selber ausgeführt habe und sich diesbezüglich mit anderen Tiefbauunternehmen auf dem Markt behaupten musste. Dies habe die Beschwerdeführerin im kantonalen Verfahren in keiner ihrer Rechtsschriften und Beweiseingaben getan. Damit fehlten nach Ansicht des Obergerichts die Grundlagen für eine Konventionalstrafe, zumal auch keine Bemessungskriterien zur Verfügung stünden, solange nicht bekannt sei, in welchem Umfang der Tätigkeiten eine Vertragsverletzung vorliegen soll.
C. Mit Beschwerde in Zivilsachen vom 30. Juni 2008 beantragt die Beschwerdeführerin dem Bundesgericht, das Urteil des Obergerichts des Kantons Luzern vom 15. Mai 2008 sei aufzuheben und das Urteil des Amtsgerichts Luzern-Stadt vom 26. Juli 2006 sei zu bestätigen. In prozessualer Hinsicht verlangt sie die Erteilung der aufschiebenden Wirkung.
Die Beschwerdegegnerin beantragt in ihrer Antwort, die Beschwerde sei abzuweisen und das Urteil des Obergerichts des Kantons Luzern vom 15. Mai 2008 sei zu bestätigen. Im Weiteren sei festzustellen, dass die Beschwerdegegnerin dem LMV 2000 nicht unterstehe. Das Obergericht des Kantons Luzern beantragt in seiner Vernehmlassung, die Beschwerde sei abzuweisen, soweit auf sie eingetreten werden könne.
D. Mit Verfügung vom 28. August 2008 erteilte das Bundesgericht der Beschwerde aufschiebende Wirkung.
Erwägungen:
1. Von vornherein nicht einzutreten ist auf den in der Beschwerdeantwort gestellten Antrag der Beschwerdegegnerin, es sei festzustellen, dass sie dem LMV 2000 nicht unterstehe. Die Vorinstanz hat das Feststellungsbegehren der Beschwerdegegnerin abgewiesen. Gegen diesen Entscheid hat die Beschwerdegegnerin keine Beschwerde erhoben. Eine Anschlussbeschwerde sieht das Beschwerdeverfahren gemäss Art. 90 ff. BGG nicht vor (BGE 134 III 332 E. 2.5 S. 335 f.).
2. 2.1 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. BGE 132 II 257 E. 2.5 S. 262; 130 III 136 E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 133 II 249 E. 1.4.1 S. 254 mit Hinweisen).
Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. BGE 134 II 244 E. 2.1 S. 245 f.; 121 III 397 E. 2a S. 400; 116 II 745 E. 3 S. 749). Ferner hat die Begründung in der Beschwerdeschrift selbst zu erfolgen und der blosse Verweis auf kantonale Akten ist unzulässig (BGE 126 III 198 E. 1d S. 201; 116 II 92 E. 2 S. 93 f.; 110 II 74 E. I.1 S. 78).
2.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substantiiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden. Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (vgl. BGE 133 III 350 E. 1.3 S. 351 f., 393 E. 7.1 S. 398, 462 E. 2.4 S. 466 f.).
Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substantiiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden. Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (vgl. BGE 133 III 350 E. 1.3 S. 351 f., 393 E. 7.1 S. 398, 462 E. 2.4 S. 466 f.).
2.3 2.3.1 Diese Grundsätze verkennt die Beschwerdeführerin. Sie stellt ihren rechtlichen Vorbringen zunächst eine mehrseitige eigene Sachverhaltsdarstellung voran und weicht darin in zahlreichen Punkten von den tatsächlichen Feststellungen der Vorinstanz ab oder erweitert diese, ohne substantiiert Ausnahmen von der Sachverhaltsbindung gemäss Art. 105 Abs. 2 und Art. 97 Abs. 1 BGG geltend zu machen. Darüber hinaus reicht sie dem Bundesgericht zahlreiche Urkunden ein und bietet verschiedene neue Beweismittel an, was nach Art. 99 Abs. 1 BGG unzulässig ist. Ihre Vorbringen haben insoweit unbeachtet zu bleiben.
2.3.2 Auch in ihrer weiteren Beschwerdebegründung weicht die Beschwerdeführerin wiederholt in unzulässiger Weise von den vorinstanzlichen Sachverhaltsfeststellungen ab oder erweitert diese. So behauptet sie etwa, die Beschwerdegegnerin habe die Vorgaben der Bauherrin gemäss Totalunternehmervertrag nicht eingehalten und den Löwenanteil der Baumeisterarbeiten selber ausgeführt. Durch ihr vertragswidriges Verhalten habe sie selber die Ausscheidbarkeit der Tiefbauarbeiten erschwert und dadurch eine Ausgangslage geschaffen, die eine Überprüfung der Einhaltung der gesamtarbeitsvertraglichen Bestimmungen extrem erschwert habe. Dieses Verhalten der Arbeitgeberin sei als rechtsmissbräuchlich zu bezeichnen, weshalb sich eine Beweislastumkehr rechtfertige.
Der Vorwurf der Beschwerdeführerin lässt sich nicht auf Tatsachen stützen, die von der Vorinstanz festgestellt worden wären. Auf die Rüge der Verletzung von Art. 42 Abs. 2 OR, die sich auf dieselben Tatsachenbehauptungen stützt, kann unter diesem Gesichtspunkt ebenso wenig eingetreten werden. Entsprechend haben etwa auch die Behauptungen der Beschwerdeführerin unbeachtlich zu bleiben, wonach die Beschwerdegegnerin bei der Bauvergabe "mit verdeckten, falschen Karten" gespielt bzw. sich betrügerisch verhalten habe.
2.3.3 Über weite Strecken unterbreitet die Beschwerdeführerin dem Bundesgericht ihre eigene Sicht des Ablaufs der Geschehnisse, ohne auf die Erwägungen der Vorinstanz einzugehen, geschweige denn eine genügend begründete Sachverhaltsrüge zu erheben. So behauptet die Beschwerdeführerin etwa, es ergebe sich aus den eingereichten Belegen, dass die schweizerische Arbeitsgemeinschaft B._ qualifiziert war, sämtliche Tiefbauarbeiten auszuführen und setzt sich damit über die vorinstanzliche Erwägung hinweg, wonach nicht bewiesen sei, dass schweizerische Tiefbauunternehmen ausscheidbare Arbeiten im Umfang von Fr. 31 Mio. hätten ausführen können.
Ebenfalls ins Leere stösst mangels entsprechender Sachverhaltsfeststellungen das Vorbringen der Beschwerdeführerin, die Vorinstanz habe den Grundsatz des Vorrangs der inländischen Arbeitnehmer nach Art. 7 der Verordnung vom 6. Oktober 1986 über die Begrenzung der Zahl der Ausländer (BVO; AS 1986 1793; in Kraft bis 31. Dezember 2007) missachtet, wobei auch weder dargetan noch ersichtlich ist, weshalb sich aus dieser ausländerrechtlichen Bestimmung etwas zugunsten der Beschwerdeführerin ableiten liesse.
2.3.4 Soweit in der Beschwerde hinsichtlich des massgeblichen Sachverhalts vereinzelt eine Rechtsverletzung (wie etwa ein Verstoss gegen das Willkürverbot, den Gehörsanspruch bzw. der Verfahrensrechte nach Art. 6 EMRK) vorgebracht wird, verfehlt die Beschwerdeführerin die gesetzlichen Begründungsanforderungen (Art. 106 Abs. 2 i.V.m. Art. 42 Abs. 2 BGG). Letzteres gilt auch insofern, als die Beschwerdeführerin kaum je mit Aktenhinweisen darlegt, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen genannt hat. Ebenfalls nicht einzutreten ist auf die Vorbringen der Beschwerdeführerin, soweit sie eine Verletzung der Dispositionsmaxime im Sinne von Art. 60 ZPO/LU geltend macht, ohne näher auszuführen, inwiefern der Sachverhalt unter verfassungswidriger Verletzung dieser kantonalen Verfahrensregel ermittelt worden sein soll (vgl. Art. 106 Abs. 2 BGG).
2.3.5 Überhaupt verkennt die Beschwerdeführerin mit ihren ausführlichen Darlegungen zu den Hintergründen der Bauvergabe und -ausführung die grundsätzliche Bindung des Bundesgerichts an die tatsächlichen Feststellungen im angefochtenen Entscheid (Art. 97 und 105 BGG). Das Bundesgericht ist keine letzte Appellationsinstanz, die von den Parteien mit vollkommenen Rechtsmitteln angerufen werden könnte (vgl. Botschaft zur Totalrevision der Bundesrechtspflege, BBl 2001 4342). Es geht nicht an, in einer Beschwerde in Zivilsachen appellatorische Kritik an der Beweiswürdigung des kantonalen Gerichts zu üben und Ergänzungen bezüglich der tatsächlichen Feststellungen vorzunehmen, als ob dem Bundesgericht im Beschwerdeverfahren die freie Prüfung aller Tatfragen zukäme (BGE 133 II 249 E. 1.4.3 S. 254 f.; vgl. auch BGE 130 I 258 E. 1.3 S. 261 f.; je mit Hinweisen).
Soweit die Beschwerdeführerin ihre Rügen auf einen Sachverhalt stützt, der von den verbindlichen Feststellungen der Vorinstanz abweicht, ist sie nicht zu hören. Da die Rechtsschrift in unzulässiger Weise Sachverhaltsrügen und rechtliche Vorbringen vermengt, ist darauf im Folgenden nur noch insoweit einzugehen, als daraus wenigstens sinngemäss erkennbar ist, welche Bundesrechtssätze und inwiefern diese durch den angefochtenen Entscheid verletzt sein sollen, wenn die verbindlichen Feststellungen im angefochtenen Entscheid zugrunde gelegt werden (Art. 105 Abs. 1 BGG).
3. Die Beschwerdeführerin rügt eine Verletzung von Art. 8 ZGB.
3.1 Sie bringt dazu zunächst vor, sie habe bereits im amtsgerichtlichen sowie im obergerichtlichen Verfahren die Einvernahme des Verwaltungsratspräsidenten der A._ AG, Herr C._, sowie die Edition des Generalunternehmervertrags zwischen der A._ AG und der Beschwerdegegnerin verlangt. Im Umstand, dass die Vorinstanz der Einvernahme nicht stattgegeben und die Edition verweigert habe, sei eine Verletzung von Art. 8 ZGB zu sehen.
Die Rüge der Verletzung von Art. 8 ZGB ist unbegründet: Wohl gibt diese Bestimmung der beweisbelasteten Partei in allen bundesrechtlichen Zivilstreitigkeiten einen Anspruch darauf, für rechtserhebliche Sachvorbringen zum Beweis zugelassen zu werden (BGE 133 III 295 E. 7.1 S. 299; 130 III 591 E. 5.4 S. 601), wenn ihr Beweisantrag nach Form und Inhalt den Vorschriften des kantonalen Verfahrensrechts entspricht (BGE 133 III 295 E. 7.1 S. 299; 129 III 18 E. 2.6 S. 24 f.; 114 II 289 E. 2a S. 290; je mit Hinweisen). Der Beschwerde lassen sich allerdings keine Aktenhinweise entnehmen, wann und in welcher Form die Beschwerdeführerin die genannten Beweismittel im erstinstanzlichen Verfahren angerufen haben will, weshalb die Rüge der Verletzung des Beweisführungsanspruchs insoweit bereits aus diesem Grund ins Leere stösst. Wie die Vorinstanz in ihrer Vernehmlassung zudem zutreffend ausführt, hätten die beiden in der Appellationsantwort erwähnten Beweismittel die Behauptung beweisen sollen, dass sich die Beschwerdegegnerin im Generalunternehmervertrag verpflichtet habe, sämtliche Bestimmungen des schweizerischen Rechts einzuhalten, und dass die Beschwerdegegnerin die Tiefbauarbeiten nicht der B._ übertragen habe. Demgegenüber wurden die beiden Beweismittel zur hier massgebenden Frage der Ausscheidbarkeit der Tiefbauarbeiten nicht angerufen. Entsprechend ist der Vorwurf der Verletzung von Art. 8 ZGB nicht haltbar.
3.2 Soweit die Beschwerdeführerin die behauptete Verletzung von Art. 8 ZGB damit begründet, die beantragte Einvernahme des Zeugen D._ von der Firma E._ AG sei ihr verweigert worden, kann ihr ebenfalls nicht gefolgt werden. Die Vorinstanz erachtete es aufgrund einer Zeugenaussage sowie verschiedener Urkunden als erwiesen, dass der Einsatz "gewöhnlicher" Bauarbeiter einen zusätzlichen Koordinationsaufwand erfordere, der mit spezialisierten oder zumindest im Pipelinebau erfahrenen Bauarbeitern entfalle und der Pipelinebau in vielen Bereichen organisatorisch vom Tiefbau nicht oder kaum abzugrenzen sei. Aus diesem Grund sei die Rentabilität des getrennten Einsatzes "gewöhnlicher" Baufachkräfte in Frage gestellt. Die Beschwerdeführerin verkennt, dass dort, wo das Gericht in Würdigung von Beweisen zur Überzeugung gelangt, eine Tatsachenbehauptung sei bewiesen oder widerlegt, die Beweislastverteilung gegenstandslos wird (BGE 134 II 235 E. 4.3.4 S. 241). Diesfalls liegt freie Beweiswürdigung vor, die bundesrechtlich nicht geregelt ist, auch nicht durch Art. 8 ZGB. Diese Bestimmung schreibt dem Richter insbesondere nicht vor, mit welchen Mitteln der Sachverhalt abzuklären und wie das Ergebnis davon zu würdigen ist (BGE 130 III 591 E. 5.4 S. 602; 122 III 219 E. 3c S. 223; 114 II 289 E. 2a S. 291; je mit Hinweisen).
3.3 Unzutreffend ist schliesslich der Vorwurf der Verletzung des Beweisführungsanspruchs, soweit die Beschwerdeführerin vorbringt, die Vorinstanz habe die unbewiesene Behauptung, dass die Beschwerdegegnerin aus technischen Gründen nicht mit der B._ zusammenarbeiten könne, als richtig hingenommen. Entgegen der Behauptung der Beschwerdeführerin erwog die Vorinstanz mit Verweis auf die beiden Schreiben der Beschwerdegegnerin sowie der B._ vom 18. Mai 1999 bzw. 15. Juli 1999 lediglich, es sei nicht bewiesen, dass Tiefbauunternehmen ausscheidbare Arbeiten im Umfang von Fr. 31 Mio. hätten ausführen können. Von einer Verletzung von Art. 8 ZGB kann auch in diesem Zusammenhang keine Rede sein.
4. Die Beschwerdeführerin wirft dem Obergericht weiter vor, die tatsächlichen Voraussetzungen für eine Konventionalstrafe zu Unrecht für ungenügend substantiiert und bewiesen erachtet zu haben.
4.1 Nach dem Rückweisungsentscheid des Bundesgerichts vom 8. November 2007 enthielt der angefochtene Entscheid des Obergerichts keine Feststellungen über den Umfang sowie die Bedeutung der von der Beschwerdegegnerin neben ihrer konkurrenzlosen Spezialtätigkeit im Rohrleitungsbau ausgeführten Bauarbeiten. Das Bundesgericht hielt weiter fest, dass von einer direkten Konkurrenzsituation nur dann auszugehen sei, wenn die Bauarbeiten von Hilfskräften ausgeführt wurden und nicht von den Spezialisten selber (etwa weil sich die Arbeiten nicht vernünftig von den Spezialwissen erfordernden Aufgaben trennen lassen und dementsprechend der Beizug nicht spezialisierter Arbeitskräfte für den Betrieb unrentabel wäre).
Wie die Vorinstanz zutreffend ausführt, hat die Beschwerdeführerin, die aus der angeblichen Verletzung des LMV 2000 einen Anspruch auf eine Konventionalstrafe ableitet, nach Art. 8 ZGB die Anspruchsvoraussetzungen zu beweisen. Zu den von der Beschwerdeführerin zu beweisenden rechtsbegründenden Tatsachen gehören im zu beurteilenden Fall insbesondere die nach dem bundesgerichtlichen Rückweisungsentscheid für das Vorliegen einer direkten Konkurrenzsituation massgeblichen tatsächlichen Verhältnisse.
Die Vorinstanz erachtete es aufgrund des Umstands, dass auf verschiedenen Bauabschnitten wegen technischer Schwierigkeiten gewöhnliche Bauunternehmen nicht beigezogen werden konnten und sich die Tiefbauarbeiten von den Pipelinearbeiten nur schwer trennen liessen, für notwendig, dass die Beschwerdeführerin substantiiert dargelegt hätte, welche spezifischen Tiefbauarbeiten keine Spezialkenntnisse erforderten und sich unter Rentabilitätsaspekten vernünftig von der Spezialtätigkeit trennen liessen. Zudem hätte die Beschwerdeführerin nach Ansicht der Vorinstanz dafür Beweis anzubieten gehabt, in welchem Umfang die Beschwerdegegnerin solche "abgetrennten" Tiefbauarbeiten überhaupt selber ausgeführt hat und diesbezüglich mit anderen Tiefbauunternehmen in direkter Konkurrenz stand, zumal die Beschwerdegegnerin unbestritten ausscheidbare Tiefbauarbeiten an Subunternehmen übertragen hatte. Da die Beschwerdeführerin die konkurrenzierenden Arbeiten im kantonalen Verfahren in keiner ihrer Rechtsschriften und Beweiseingaben genügend substantiiert hatte, verneinte die Vorinstanz die Rechtsgrundlage für die von der Beschwerdeführerin beanspruchte Konventionalstrafe.
4.2 Die Beschwerdeführerin vermag mit ihren Ausführungen keine Bundesrechtsverletzung aufzuzeigen. Abgesehen davon, dass sie nicht darlegt, inwiefern sie die konkurrenzierenden Arbeiten in ihren Rechtsschriften genügend substantiiert hätte, sondern lediglich die vorinstanzlichen Substantiierungsanforderungen pauschal in Frage stellt, ist nicht ersichtlich, inwiefern die Vorinstanz die massgebenden Grundsätze zur Substantiierung bundesrechtlicher Ansprüche verkannt haben sollte. Die von der Beschwerdeführerin behauptete grobe Aufteilung der Tiefbauarbeiten sowie der Rohrbau-Spezialarbeiten in Prozenten des gesamten Bauvolumens erlaubte es der Vorinstanz nicht, die Anspruchsvoraussetzung der konkreten Konkurrenzsituation nach den Vorgaben im bundesgerichtlichen Rückweisungsentscheid zu beurteilen. Der Vorinstanz ist daher keine Verletzung von Bundesrecht vorzuwerfen, wenn sie den Anspruch der Beschwerdeführerin als ungenügend substantiiert erachtete. Entgegen der Ansicht der Beschwerdeführerin kann darin auch keine unzutreffende Auslegung von Art. 1 Abs. 1 des Bundesgesetzes über die Allgemeinverbindlicherklärung von Gesamtarbeitsverträgen vom 28. September 1956 (AVEG; SR 221.215.311) erblickt werden.
5. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 9'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 11'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Luzern, I. Kammer als Appellationsinstanz, schriftlich mitgeteilt.
Lausanne, 22. Januar 2009
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Leemann