Sachverhalt:
Sachverhalt:
A. B._ (geb. 1954) zog sich als Bauarbeiter bei einem Arbeitsunfall am 30. November 1982 eine Knieverletzung zu. Mit Verfügung vom 9. Januar 1985, bestätigt mit Einspracheentscheid vom 7. März 1985, sprach ihm die Schweizerische Unfallversicherungsanstalt (SUVA) ab 1. Februar 1985 eine Invalidenrente auf der Basis einer Erwerbsunfähigkeit von 50 % zu. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit unangefochten in Rechtskraft erwachsenem Entscheid vom 17. September 1985 ab.
Aufgrund zweier Verfügungen vom 11. Juni 1985 richtete ihm die Ausgleichskasse Luzern rückwirkend ab 1. November 1983 bis Ende Dezember 1984 eine ganze und ab 1. Januar 1985 eine halbe Invalidenrente nebst Zusatz- und Kinderrenten zu. Gestützt auf einen Arztbericht des behandelnden Hausarztes Dr. med. K._ vom 24. Februar 1992, der nebst den Unfallfolgen seit September 1990 behandlungsbedürftige chronische Rückenschmerzen diagnostizierte, erhöhte die Ausgleichskasse mit Verfügung vom 6. Juli 1992 die halbe Invalidenrente mit Wirkung ab 1. November 1991 auf eine ganze. Am 4. Juli 1995 und am 2. September 1998 wurde die ganze Invalidenrente anlässlich zweier Revisionsverfahren bestätigt.
Im Rahmen eines weiteren, am 30. Juli 2001 eingeleiteten Revisionsverfahrens holte die IV-Stelle Luzern bei Dr. med. K._ und bei Dr. med. W._, Arzt für orthopädische Chirurgie FMH, Arztberichte (vom 3. September und 22. November 2001) ein. Ferner hielt sich der Versicherte vom 2. Juli bis 12. Juli 2002 während insgesamt acht Tagen in der Beruflichen Abklärungsstelle (BEFAS) im Arbeitszentrum X._ auf (Abklärungsbericht vom 24. Juli 2002). Nach Ergänzung der Akten durch Berichte des Dr. med. A._, Facharzt für Innere Medizin FMH (vom 3. und 29. Oktober, 28. November und 4. Dezember 2002) zog die IV-Stelle Luzern mit Verfügung vom 20. März 2003 nach Ermittlung eines Invaliditätsgrades von 42 % die Verfügung vom 6. Juli 1992 in Wiedererwägung und setzte die bis anhin ausgerichtete ganze Invalidenrente auf eine Viertelsrente herab. Daran hielt sie mit Einspracheentscheid vom 21. November 2003 fest.
Im Rahmen eines weiteren, am 30. Juli 2001 eingeleiteten Revisionsverfahrens holte die IV-Stelle Luzern bei Dr. med. K._ und bei Dr. med. W._, Arzt für orthopädische Chirurgie FMH, Arztberichte (vom 3. September und 22. November 2001) ein. Ferner hielt sich der Versicherte vom 2. Juli bis 12. Juli 2002 während insgesamt acht Tagen in der Beruflichen Abklärungsstelle (BEFAS) im Arbeitszentrum X._ auf (Abklärungsbericht vom 24. Juli 2002). Nach Ergänzung der Akten durch Berichte des Dr. med. A._, Facharzt für Innere Medizin FMH (vom 3. und 29. Oktober, 28. November und 4. Dezember 2002) zog die IV-Stelle Luzern mit Verfügung vom 20. März 2003 nach Ermittlung eines Invaliditätsgrades von 42 % die Verfügung vom 6. Juli 1992 in Wiedererwägung und setzte die bis anhin ausgerichtete ganze Invalidenrente auf eine Viertelsrente herab. Daran hielt sie mit Einspracheentscheid vom 21. November 2003 fest.
B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 13. Januar 2005 ab, soweit es darauf eintrat.
B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 13. Januar 2005 ab, soweit es darauf eintrat.
C. B._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei ihm weiterhin eine ganze Rente auszurichten.
Die IV-Stelle Luzern und das kantonale Gericht schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. In zeitlicher Hinsicht sind grundsätzlich diejenigen Rechtssätze massgebend, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (<ref-ruling> Erw. 1). Weiter stellt das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses des streitigen Einspracheentscheids (hier 21. November 2003) eingetretenen Sachverhalt ab (<ref-ruling> Erw. 1b).
Wie das kantonale Gericht in korrekter Anwendung dieser allgemeinen intertemporalen Regeln erkannt hat, sind die am 1. Januar 2004 im Rahmen der 4. IV-Revision in Kraft getretenen Rechtsänderungen nicht anwendbar.
Wie das kantonale Gericht in korrekter Anwendung dieser allgemeinen intertemporalen Regeln erkannt hat, sind die am 1. Januar 2004 im Rahmen der 4. IV-Revision in Kraft getretenen Rechtsänderungen nicht anwendbar.
2. 2.1 Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) in Kraft getreten. Es hat hinsichtlich der invalidenrechtlichen Rentenrevision keine substanziellen Änderungen gegenüber der bis 31. Dezember 2002 gültig gewesenen Normenlage gebracht (<ref-ruling> ff. Erw. 3.5). Die zur altrechtlichen Regelung gemäss <ref-law> (aufgehoben durch Anhang Ziff. 8 des ATSG) ergangene Judikatur bleibt deshalb grundsätzlich anwendbar. Bei dieser Rechtslage kann, da materiellrechtlich ohne Belang, offen bleiben, ob die Revision einer Invalidenrente, über welche die Verwaltung nach dem 1. Januar 2003 zu befinden hat, dem ATSG untersteht, oder aber <ref-law>, wonach materielle Bestimmungen dieses Gesetzes auf die bei seinem In-Kraft-Treten laufenden Leistungen (und festgesetzten Forderungen) nicht anwendbar sind, dem Wortlaut entsprechend, dahingehend auszulegen ist, dass am 1. Januar 2003 laufende Dauerleistungen nicht nach <ref-law>, sondern nach den altrechtlichen Grundsätzen zu revidieren sind (Urteil B. vom 6. Januar 2005, I 458/04, Erw. 2.2).
2.2 Nach a<ref-law> und <ref-law> sind laufende Renten für die Zukunft zu erhöhen, herabzusetzen oder aufzuheben, wenn sich der Invaliditätsgrad in einer für den Anspruch erheblichen Weise ändert. Anlass zur Rentenrevision gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen, die geeignet ist, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen. Ob eine solche Änderung eingetreten ist, beurteilt sich durch Vergleich des Sachverhalts, wie er im Zeitpunkt der ursprünglichen Rentenverfügung bestanden hat, mit demjenigen zur Zeit der streitigen Revisionsverfügung (<ref-ruling> Erw. 2 mit Hinweis; vgl. auch <ref-ruling> Erw. 3.5.2).
2.3 Der Revisionsordnung nach a<ref-law> und <ref-law> geht der in <ref-law> nunmehr gesetzlich verankerte Grundsatz vor, dass die Verwaltung befugt ist, jederzeit von Amtes wegen auf formell rechtskräftige Verfügungen oder Einspracheentscheide, welche nicht Gegenstand materieller richterlicher Beurteilung gebildet hatten, zurückzukommen, wenn sich diese als zweifellos unrichtig erweisen und ihre Berichtigung von erheblicher Bedeutung ist. Unter diesen Voraussetzungen kann die Verwaltung eine Rentenverfügung auch dann abändern, wenn die Revisionsvoraussetzungen des a<ref-law> oder <ref-law> nicht erfüllt sind. Wird die zweifellose Unrichtigkeit der ursprünglichen Rentenverfügung erst vom Gericht festgestellt, so kann es die auf a<ref-law> <ref-law> gestützte Revisionsverfügung der Verwaltung mit dieser substituierten Begründung schützen (<ref-ruling> Erw. 2 mit Hinweisen; vgl. auch <ref-ruling> Erw. 2c und 390 Erw. 1b).
2.3 Der Revisionsordnung nach a<ref-law> und <ref-law> geht der in <ref-law> nunmehr gesetzlich verankerte Grundsatz vor, dass die Verwaltung befugt ist, jederzeit von Amtes wegen auf formell rechtskräftige Verfügungen oder Einspracheentscheide, welche nicht Gegenstand materieller richterlicher Beurteilung gebildet hatten, zurückzukommen, wenn sich diese als zweifellos unrichtig erweisen und ihre Berichtigung von erheblicher Bedeutung ist. Unter diesen Voraussetzungen kann die Verwaltung eine Rentenverfügung auch dann abändern, wenn die Revisionsvoraussetzungen des a<ref-law> oder <ref-law> nicht erfüllt sind. Wird die zweifellose Unrichtigkeit der ursprünglichen Rentenverfügung erst vom Gericht festgestellt, so kann es die auf a<ref-law> <ref-law> gestützte Revisionsverfügung der Verwaltung mit dieser substituierten Begründung schützen (<ref-ruling> Erw. 2 mit Hinweisen; vgl. auch <ref-ruling> Erw. 2c und 390 Erw. 1b).
2.4 2.4.1 Das kantonale Gericht hat <ref-law> (in der hier anwendbaren, bis Ende 2003 gültig gewesenen Fassung) über die Voraussetzungen und den Umfang des Anspruchs auf eine Rente der Invalidenversicherung richtig wiedergegeben. Zutreffend sind auch die Erwägungen über die Invaliditätsbemessung bei Erwerbstätigen mittels Einkommensvergleich und die Grundsätze zur Bindungswirkung rechtskräftiger Invaliditätsschätzungen anderer Versicherungsträger (<ref-ruling>, 126 V 288). Letztere gelten auch, wenn eine frühere Rentenverfügung auf dem Wege der Wiedererwägung geändert werden soll (nicht veröffentlichte Erw. 2.1.2 von <ref-ruling>).
Zu ergänzen sind die vorinstanzlichen Erwägungen dahingehend, dass sich die zweifellose Unrichtigkeit einer Verfügung nach der Sach- und Rechtslage, wie sie sich im Zeitpunkt der rechtskräftigen Leistungszusprechung darbot, beurteilt (<ref-ruling> f. Erw. 3 mit Hinweisen; Urteil A. vom 7. Dezember 2004, I 410/04, Erw. 4.1). Die demnach massgebende altrechtliche Bestimmung über die Invaliditätsbemessung bei Erwerbstätigen (<ref-law>, aufgehoben per Ende 2002) und die im angefochtenen Entscheid angeführte, seit 1. Januar 2003 geltende gesetzliche Regelung (<ref-law>) unterscheiden sich aber inhaltlich nicht, und es bleiben auch die von der Rechtsprechung erarbeiteten Grundsätze weiterhin anwendbar (<ref-ruling> f. Erw. 3.4).
2.4.2 Massgebend für den Einkommensvergleich sind die Verhältnisse im Zeitpunkt des Beginns des Rentenanspruchs, wobei Validen- und Invalideneinkommen auf zeitidentischer Grundlage zu erheben und allfällige rentenwirksame Veränderungen der Vergleichseinkommen bis zum Verfügungserlass zu berücksichtigen sind (<ref-ruling>). Diese Grundsätze gelten auch bei der Prüfung einer rentenzusprechenden Verfügung auf zweifellose Unrichtigkeit hin.
2.4.2 Massgebend für den Einkommensvergleich sind die Verhältnisse im Zeitpunkt des Beginns des Rentenanspruchs, wobei Validen- und Invalideneinkommen auf zeitidentischer Grundlage zu erheben und allfällige rentenwirksame Veränderungen der Vergleichseinkommen bis zum Verfügungserlass zu berücksichtigen sind (<ref-ruling>). Diese Grundsätze gelten auch bei der Prüfung einer rentenzusprechenden Verfügung auf zweifellose Unrichtigkeit hin.
3. Streitig ist, ob die IV-Stelle zu Recht die dem Beschwerdeführer seit 1. November 1991 ausgerichtete ganze Invalidenrente auf eine Viertelsrente herabgesetzt hat. Dabei ist unbestritten, dass in gesundheitlicher und erwerblicher Hinsicht keine revisionsrechtlich erhebliche Änderung eingetreten ist. Es kann sich daher nur fragen, ob die Wiedererwägungsvoraussetzung der zweifellosen Unrichtigkeit der ursprünglichen Verfügungen vom 11. Juni 1985 und 6. Juli 1992 erfüllt ist.
3.1 Bei der Prüfung der Frage der zweifellosen Unrichtigkeit ist zu unterscheiden zwischen der am 11. Juni 1985 erfolgten Zusprechung einer halben Invalidenrente und der mit Revisionsverfügung vom 6. Juli 1992 erfolgten Erhöhung des Invaliditätsgrades auf 100 %. Der Beschwerdeführer zog sich am 30. November 1982 bei einem Arbeitsunfall eine Knieverletzung zu. Für diese Unfallfolgen richtet ihm die SUVA seit 1. Februar 1985 eine Invalidenrente auf der Basis einer Erwerbsunfähigkeit von 50 % aus (Verfügung vom 9. Januar 1985, bestätigt mit Einspracheentscheid vom 7. März 1985; Rentenberechnung der SUVA vom 11. November 2003). Die gegen den Einspracheentscheid vom 7. März 1985 erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit Urteil vom 17. September 1985 ab. Damit liegt einerseits ein von einem anderen Sozialversicherungsträger festgelegter Invaliditätsgrad und anderseits ein diesen Invaliditätsgrad bestätigender kantonaler Gerichtsentscheid vor. Wenn damals die Ausgleichskasse Luzern dem Beschwerdeführer mit Verfügung vom 11. Juni 1985 in Umsetzung eines Beschlusses der IV-Kommission, welche für die Invaliditätsbemessung ab 1. Januar 1985 auf den von der SUVA ermittelten Invaliditätsgrad von 50 % abgestellt hatte, eine halbe Invalidenrente zugesprochen hat, so kann dieses Vorgehen angesichts der dargelegten Ausgangslage und den übrigen Akten, namentlich dem Abklärungsbericht der BEFAS im Arbeitszentrum X._ vom 10. Oktober 1985, nicht als zweifellos unrichtig bezeichnet werden. Die unmittelbar nach der Rentenzusprechung im Rahmen eines Revisionsverfahrens im Arbeitszentrum X._ vom 26. August bis 20. September 1985 erfolgte berufliche Abklärung ergab immerhin, dass der Beschwerdeführer aus medizinischer Sicht damals nur eine vorwiegend sitzende Arbeit halbtags bei voller Arbeitsleistung verrichten konnte (erwähnter Abklärungsbericht vom 10. Oktober 1985). Die Erwägungen im seinerzeitigen Urteil des Verwaltungsgerichts des Kantons Luzern vom 17. September 1985, wonach der Beschwerdeführer bei einem Valideneinkommen von Fr. 43'780.- ein zumutbares Invalideneinkommen von jährlich Fr. 27'600.- realisieren könne, lassen den Schluss auf eine zweifellose Unrichtigkeit der ursprünglichen Rentenverfügung nicht zu. Das kantonale Gericht hat letztlich die Ermittlung eines Invaliditätsgrades von 50 % durch die SUVA nicht beanstandet und auch nicht eine reformatio in peius angedroht. Wenn mithin die IV-Organe damals gestützt auf die Invaliditätsbemessung der SUVA ebenfalls von einem Invaliditätsgrad von 50 % ausgegangen sind, so kann darin nicht eine zweifellose Unrichtigkeit erblickt werden. Nur am Rande sei erwähnt, dass die Vorinstanz im angefochtenen Urteil für den Zeitpunkt der Rentenherabsetzung im Jahr 2003 einen Invaliditätsgrad von 49,4 % ermittelt hat. Im Lichte dieser Ausführungen erweist sich die ursprüngliche Zusprechung einer halben Invalidenrente ab 1. Januar 1985 mit Verfügung vom 11. Juni 1985 nicht als zweifellos unrichtig.
3.2 Bei Erhöhung dieser halben Invalidenrente auf eine ganze mit Revisionsverfügung vom 6. Juli 1992 stützte sich die Ausgleichskasse Luzern einzig auf den Fragebogen des behandelnden Hausarztes Dr. med. K._ vom 24. Februar 1992, wonach die chronischen Rückenschmerzen zugenommen und seit September 1990 mehrmals eine physiotherapeutische Behandlung notwendig gemacht hätten. Der Gesundheitszustand wurde als stationär bezeichnet und die Arbeitsunfähigkeit als Bauarbeiter mit 100 % seit 30. November 1982 bis auf Weiteres angegeben. Die revisionsweise Erhöhung der Invalidenrente einzig gestützt auf diesen Arztbericht, welcher namentlich keine Schätzung der Arbeitsfähigkeit in einer leidensangepassten Tätigkeit enthält, ist mit dem kantonalen Gericht als zweifellos unrichtig zu betrachten, zumal kein Einkommensvergleich durchgeführt worden ist. Gestützt auf die neuerliche Abklärung in der BEFAS (Abklärungsbericht vom 24. Juli 2002) ist mit dem kantonalen Gericht ferner davon auszugehen, dass der Beschwerdeführer ganztags arbeitsfähig ist für körperlich leichte, wechselbelastende Tätigkeiten, welche in vorwiegend sitzender Position ausgeführt werden sollten. Dabei könnte er nach einer Einarbeitungszeit von 3-6 Monaten eine Gesamtleistung von 70 % erbringen. Die Leistungsreduktion ist auf notwendige Entlastungshaltungen und auf Einbussen bei mittel- bis feinmanuellen Arbeiten zurückzuführen, da der Versicherte als Bauarbeiter über geringere feinmotorische Fähigkeiten verfügt. Gestützt darauf und in Würdigung der medizinischen Unterlagen könnte der Beschwerdeführer bei zumutbarer Verwertung des ihm verbliebenen Leistungsvermögens mit einer leidensangepassten Tätigkeit ein eine ganze Rente ausschliessendes Erwerbseinkommen erzielen. Es kann hiefür auf die zutreffenden kantonalen Erwägungen verwiesen werden, soweit sie die Bemessung des Invaliditätsgrades zwischen 50 % und 66 2/3 % betreffen. An diesem Ergebnis ändern sämtliche Einwendungen in der Verwaltungsgerichtsbeschwerde nichts. Es hat damit sein Bewenden, dass der Beschwerdeführer ab 1. Mai 2003 nur noch Anspruch auf eine halbe Invalidenrente hat (<ref-law>).
3.2 Bei Erhöhung dieser halben Invalidenrente auf eine ganze mit Revisionsverfügung vom 6. Juli 1992 stützte sich die Ausgleichskasse Luzern einzig auf den Fragebogen des behandelnden Hausarztes Dr. med. K._ vom 24. Februar 1992, wonach die chronischen Rückenschmerzen zugenommen und seit September 1990 mehrmals eine physiotherapeutische Behandlung notwendig gemacht hätten. Der Gesundheitszustand wurde als stationär bezeichnet und die Arbeitsunfähigkeit als Bauarbeiter mit 100 % seit 30. November 1982 bis auf Weiteres angegeben. Die revisionsweise Erhöhung der Invalidenrente einzig gestützt auf diesen Arztbericht, welcher namentlich keine Schätzung der Arbeitsfähigkeit in einer leidensangepassten Tätigkeit enthält, ist mit dem kantonalen Gericht als zweifellos unrichtig zu betrachten, zumal kein Einkommensvergleich durchgeführt worden ist. Gestützt auf die neuerliche Abklärung in der BEFAS (Abklärungsbericht vom 24. Juli 2002) ist mit dem kantonalen Gericht ferner davon auszugehen, dass der Beschwerdeführer ganztags arbeitsfähig ist für körperlich leichte, wechselbelastende Tätigkeiten, welche in vorwiegend sitzender Position ausgeführt werden sollten. Dabei könnte er nach einer Einarbeitungszeit von 3-6 Monaten eine Gesamtleistung von 70 % erbringen. Die Leistungsreduktion ist auf notwendige Entlastungshaltungen und auf Einbussen bei mittel- bis feinmanuellen Arbeiten zurückzuführen, da der Versicherte als Bauarbeiter über geringere feinmotorische Fähigkeiten verfügt. Gestützt darauf und in Würdigung der medizinischen Unterlagen könnte der Beschwerdeführer bei zumutbarer Verwertung des ihm verbliebenen Leistungsvermögens mit einer leidensangepassten Tätigkeit ein eine ganze Rente ausschliessendes Erwerbseinkommen erzielen. Es kann hiefür auf die zutreffenden kantonalen Erwägungen verwiesen werden, soweit sie die Bemessung des Invaliditätsgrades zwischen 50 % und 66 2/3 % betreffen. An diesem Ergebnis ändern sämtliche Einwendungen in der Verwaltungsgerichtsbeschwerde nichts. Es hat damit sein Bewenden, dass der Beschwerdeführer ab 1. Mai 2003 nur noch Anspruch auf eine halbe Invalidenrente hat (<ref-law>).
4. Bei diesem Ausgang des Verfahrens ist der Beschwerdeführer als zur Hälfte obsiegend zu betrachten, weshalb ihm eine reduzierte Parteientschädigung zusteht (Art. 159 Abs. 2 und 3 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Verwaltungsgerichts des Kantons Luzern vom 13. Januar 2005 und der Einspracheentscheid der IV-Stelle Luzern vom 21. November 2003, soweit sie einen Invaliditätsgrad von weniger als 50 % festlegen, aufgehoben und es wird festgestellt, dass der Beschwerdeführer ab 1. Mai 2003 Anspruch auf eine halbe Invalidenrente hat.
1. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Verwaltungsgerichts des Kantons Luzern vom 13. Januar 2005 und der Einspracheentscheid der IV-Stelle Luzern vom 21. November 2003, soweit sie einen Invaliditätsgrad von weniger als 50 % festlegen, aufgehoben und es wird festgestellt, dass der Beschwerdeführer ab 1. Mai 2003 Anspruch auf eine halbe Invalidenrente hat.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Die IV-Stelle Luzern hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 1250.- (einschliesslich Mehrwertsteuer) zu bezahlen.
3. Die IV-Stelle Luzern hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 1250.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Das Verwaltungsgericht des Kantons Luzern hat über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden.
4. Das Verwaltungsgericht des Kantons Luzern hat über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, der Ausgleichskasse Luzern und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 10. November 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: