Sachverhalt:
Sachverhalt:
A. S._, geboren 1964, war von Juni 1997 bis Ende Februar 1999 als Küchenmitarbeiter (zuletzt zu 50 %) bei der Firma X._ tätig. Von Ende März 1999 bis Ende März 2001 bezog er - bei einem Vermittlungsgrad von 50 % - Taggelder der Arbeitslosenversicherung. Ab Januar 2001 arbeitete er vorübergehend drei Monate mit einem Beschäftigungsgrad von rund 80 % in der Bäckerei Y._ und ab 1. April 2001 noch zu 50 % in der Firma Z._. Am 3. November 1999 meldete sich S._ bei der Invalidenversicherung zum Leistungsbezug an. Er litt an einer chronischen Lumbalgie bei grossbogiger linkskonvexer Torsionsskoliose der Wirbelsäule sowie muskulärer Insuffizienz (Bericht Rheumatologische Abteilung Spital Q._ vom 17. Juni 1999). Die IV-Stelle Luzern holte unter anderem den Bericht des Spitals Q._ vom 12. Februar 2001 über die Evaluation der funktionellen Leistungsfähigkeit (nachfolgend: EFL-Bericht) ein. Darin wurde als das arbeitsbezogen relevante Problem eine Funktionsstörung der Lendenwirbelsäule genannt. Man schätzte S._ unter einschränkenden Rahmenbedingungen zu 80 % arbeitsfähig. Mit Verfügung vom 16. April 2003 sprach ihm die IV-Stelle Luzern für die Zeit vom 1. Mai 1999 bis 30. September 1999 eine halbe Invalidenrente zu. Die dagegen gerichtete Einsprache wies sie mit Entscheid vom 20. November 2003 ab.
A. S._, geboren 1964, war von Juni 1997 bis Ende Februar 1999 als Küchenmitarbeiter (zuletzt zu 50 %) bei der Firma X._ tätig. Von Ende März 1999 bis Ende März 2001 bezog er - bei einem Vermittlungsgrad von 50 % - Taggelder der Arbeitslosenversicherung. Ab Januar 2001 arbeitete er vorübergehend drei Monate mit einem Beschäftigungsgrad von rund 80 % in der Bäckerei Y._ und ab 1. April 2001 noch zu 50 % in der Firma Z._. Am 3. November 1999 meldete sich S._ bei der Invalidenversicherung zum Leistungsbezug an. Er litt an einer chronischen Lumbalgie bei grossbogiger linkskonvexer Torsionsskoliose der Wirbelsäule sowie muskulärer Insuffizienz (Bericht Rheumatologische Abteilung Spital Q._ vom 17. Juni 1999). Die IV-Stelle Luzern holte unter anderem den Bericht des Spitals Q._ vom 12. Februar 2001 über die Evaluation der funktionellen Leistungsfähigkeit (nachfolgend: EFL-Bericht) ein. Darin wurde als das arbeitsbezogen relevante Problem eine Funktionsstörung der Lendenwirbelsäule genannt. Man schätzte S._ unter einschränkenden Rahmenbedingungen zu 80 % arbeitsfähig. Mit Verfügung vom 16. April 2003 sprach ihm die IV-Stelle Luzern für die Zeit vom 1. Mai 1999 bis 30. September 1999 eine halbe Invalidenrente zu. Die dagegen gerichtete Einsprache wies sie mit Entscheid vom 20. November 2003 ab.
B. S._ erhob hiegegen beim Verwaltungsgericht des Kantons Luzern Beschwerde. Er beantragte die Zusprechung einer nicht befristeten ganzen Invalidenrente ab 1. Mai 1999. Mit Entscheid vom 29. Juli 2004 hob das kantonale Gericht den Einspracheentscheid auf und setzte in Abänderung der Verfügung fest, dass die halbe Invalidenrente ab 1. Mai 1999 bis 31. März 2001 auszurichten sei. Es sprach dem Versicherten eine gekürzte Parteientschädigung von Fr. 350.- zu.
B. S._ erhob hiegegen beim Verwaltungsgericht des Kantons Luzern Beschwerde. Er beantragte die Zusprechung einer nicht befristeten ganzen Invalidenrente ab 1. Mai 1999. Mit Entscheid vom 29. Juli 2004 hob das kantonale Gericht den Einspracheentscheid auf und setzte in Abänderung der Verfügung fest, dass die halbe Invalidenrente ab 1. Mai 1999 bis 31. März 2001 auszurichten sei. Es sprach dem Versicherten eine gekürzte Parteientschädigung von Fr. 350.- zu.
C. S._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, es sei ihm mit Beginn ab 1. Mai 1999 ohne zeitliche Befristung eine halbe Invalidenrente auszurichten; zudem sei im vorinstanzlichen Verfahren eine ungekürzte Anwaltskostenentschädigung auszuzahlen.
Die IV-Stelle beantragt die Abweisung der Verwaltungsgerichtsbeschwerde verbunden mit der Feststellung, dass die Rente wie verfügt per Ende September 1999 aufzuheben sei. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. 1.1 Bei der Prüfung eines allfälligen schon vor dem In-Kraft-Treten des ATSG auf den 1. Januar 2003 entstandenen Anspruchs auf eine Rente der Invalidenversicherung sind die allgemeinen intertemporalrechtlichen Regeln heranzuziehen, gemäss welchen - auch bei einer Änderung der gesetzlichen Grundlagen - grundsätzlich diejenigen Rechtssätze massgebend sind, die bei Verwirklichung des zu Rechtsfolgen führenden Sachverhalts galten. Demzufolge ist - abweichend vom Entscheid der Vorinstanz - der Rentenanspruch für die Zeit bis 31. Dezember 2002 auf Grund der bisherigen und ab diesem Zeitpunkt nach den neuen Normen zu prüfen (<ref-ruling>). Da die im ATSG enthaltenen Formulierungen der Arbeitsunfähigkeit, der Erwerbsunfähigkeit, der Invalidität, der Einkommensvergleichsmethode und der Revision (der Invalidenrente und anderer Dauerleistungen) den bisherigen von der Rechtsprechung dazu entwickelten Begriffen in der Invalidenversicherung entsprechen (<ref-ruling> f. Erw. 2-3.6), ergibt sich für die vorliegende Beurteilung des Leistungsanspruches jedoch inhaltlich keine Änderung.
1.2 In diesem Sinne sind im kantonalen Entscheid die massgebenden Bestimmungen und Grundsätze über den Begriff der Invalidität (<ref-law> in Verbindung mit <ref-law>; alt <ref-law>), den Umfang des Rentenanspruchs (Art. 28 Abs. 1 [in der hier anwendbaren, bis Ende 2003 gültig gewesenen Fassung] und Abs. 1bis IVG [in Kraft gestanden bis Ende Dezember 2003]), die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten (Einkommensvergleichsmethode [<ref-law> in Verbindung mit <ref-law>; alt <ref-law>; <ref-ruling> Erw. 2a und b]) sowie die Rentenrevision (alt <ref-law>/<ref-law> in Verbindung mit <ref-law>) richtig dargelegt worden. Darauf wird verwiesen. Zutreffend ist, dass die Bestimmungen der auf den 1. Januar 2004 in Kraft getretenen 4. IVG-Revision nicht anwendbar sind, da nach dem massgebenden Zeitpunkt des Einspracheentscheids (hier: 20. November 2003) eingetretene Rechts- und Sachverhaltsänderungen vom Sozialversicherungsgericht nicht berücksichtigt werden (<ref-ruling> Erw. 1.2 mit Hinweisen).
1.2 In diesem Sinne sind im kantonalen Entscheid die massgebenden Bestimmungen und Grundsätze über den Begriff der Invalidität (<ref-law> in Verbindung mit <ref-law>; alt <ref-law>), den Umfang des Rentenanspruchs (Art. 28 Abs. 1 [in der hier anwendbaren, bis Ende 2003 gültig gewesenen Fassung] und Abs. 1bis IVG [in Kraft gestanden bis Ende Dezember 2003]), die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten (Einkommensvergleichsmethode [<ref-law> in Verbindung mit <ref-law>; alt <ref-law>; <ref-ruling> Erw. 2a und b]) sowie die Rentenrevision (alt <ref-law>/<ref-law> in Verbindung mit <ref-law>) richtig dargelegt worden. Darauf wird verwiesen. Zutreffend ist, dass die Bestimmungen der auf den 1. Januar 2004 in Kraft getretenen 4. IVG-Revision nicht anwendbar sind, da nach dem massgebenden Zeitpunkt des Einspracheentscheids (hier: 20. November 2003) eingetretene Rechts- und Sachverhaltsänderungen vom Sozialversicherungsgericht nicht berücksichtigt werden (<ref-ruling> Erw. 1.2 mit Hinweisen).
2. Streitig und zu prüfen ist, ob sich der Invaliditätsgrad des Beschwerdeführers bis zum Stichtag des Einspracheentscheids am 20. November 2003 erheblich änderte, sodass die mit Wirkung ab 1. Mai 1999 zugesprochene halbe Invalidenrente aufzuheben war. Ist dies zu bejahen, ist der Zeitpunkt der Aufhebung zu bestimmen.
2.1 Gemäss <ref-law> ist die den Anspruch auf eine Invalidenrente beeinflussende Änderung bei einer Verbesserung der Erwerbsfähigkeit für die Herabsetzung oder Aufhebung der Leistung von dem Zeitpunkt an zu berücksichtigen, in dem angenommen werden kann, dass sie voraussichtlich längere Zeit dauern wird; sie ist in jedem Fall zu berücksichtigen, nachdem sie ohne wesentliche Unterbrechung drei Monate angedauert hat und voraussichtlich weiterhin andauern wird.
2.2 Im EFL-Bericht des Spitals Q._ vom 12. Februar 2001 wurde die Zumutbarkeit einer beruflichen Betätigung des Beschwerdeführers wie folgt umschrieben: Ganztägige leichte bis mittelschwere Arbeit, nicht sitzend, mit viel Bewegung, ohne häufiges Heben von Lasten über zehn Kilo, mit zusätzlich zu den üblichen Pausen von zweimal zwanzig Minuten über den Tag verteilten Pausen von insgesamt eineinhalb Stunden. Dabei wurde angemerkt, die berufliche Eingliederung am damaligen Arbeitsplatz in der Bäckerei Y._ (Teilzeitpensum von 80 %) sei nur reduziert möglich, sofern nicht eine andere Arbeitseinteilung mit einer Unterbrechung von ein bis zwei Stunden, während der sich der Versicherte liegend ausruhen könne, gewählt werde.
2.3 Offensichtlich konnte kein dem Leiden angepasster Arbeitsrhythmus umgesetzt werden, weshalb der Beschwerdeführer den Arbeitsplatz in der Bäckerei bereits nach knapp drei Monaten aufgeben musste. Per 1. April 2001 trat er bei der Firma Z._, bei der er schon in den Jahren 1994 bis 1996 gearbeitet hatte und wo seine Rückenprobleme bekannt waren, eine 50-Prozent-Stelle an. Zunächst bezog er den dem Teilpensum entsprechenden halben Lohn von Fr. 1786.95. Dieser wurde dann auf Fr. 1270.- gekürzt, was gemäss Schreiben des Rechtsvertreters an die IV-Stelle vom 20. November 2002 von der Arbeitgeberin mit einer zu geringen Leistung begründet wurde. Die Verwaltung führte im Einspracheentscheid den Umstand, dass der Beschwerdeführer im 50-Prozent-Pensum keine volle Leistung erbrachte, auf mangelnde Arbeitsmotivation und somit invaliditätsfremde Gründe zurück. Sie hielt daran fest, der Versicherte sei nach dem EFL-Bericht zu 80 % leistungsfähig, sofern die dort genannten Rahmenbedingungen eingehalten würden. In dem im kantonalen Verfahren eingelegten Kurzbericht vom 23. Dezember 2003 führte die behandelnde Ärztin Frau Dr. med. C._, Fachärztin FMH für Allgemeine Medizin, jedoch aus, die Beschäftigung des Beschwerdeführers bei der Firma Z._ sei den im EFL-Bericht genannten Rahmenbedingungen sogar sehr angepasst; trotzdem hätten die Rückenbeschwerden in den drei Jahren zugenommen; der Versicherte arbeite zeitlich zu 50 Prozent mit einer Leistung von 25 Prozent.
2.3 Offensichtlich konnte kein dem Leiden angepasster Arbeitsrhythmus umgesetzt werden, weshalb der Beschwerdeführer den Arbeitsplatz in der Bäckerei bereits nach knapp drei Monaten aufgeben musste. Per 1. April 2001 trat er bei der Firma Z._, bei der er schon in den Jahren 1994 bis 1996 gearbeitet hatte und wo seine Rückenprobleme bekannt waren, eine 50-Prozent-Stelle an. Zunächst bezog er den dem Teilpensum entsprechenden halben Lohn von Fr. 1786.95. Dieser wurde dann auf Fr. 1270.- gekürzt, was gemäss Schreiben des Rechtsvertreters an die IV-Stelle vom 20. November 2002 von der Arbeitgeberin mit einer zu geringen Leistung begründet wurde. Die Verwaltung führte im Einspracheentscheid den Umstand, dass der Beschwerdeführer im 50-Prozent-Pensum keine volle Leistung erbrachte, auf mangelnde Arbeitsmotivation und somit invaliditätsfremde Gründe zurück. Sie hielt daran fest, der Versicherte sei nach dem EFL-Bericht zu 80 % leistungsfähig, sofern die dort genannten Rahmenbedingungen eingehalten würden. In dem im kantonalen Verfahren eingelegten Kurzbericht vom 23. Dezember 2003 führte die behandelnde Ärztin Frau Dr. med. C._, Fachärztin FMH für Allgemeine Medizin, jedoch aus, die Beschäftigung des Beschwerdeführers bei der Firma Z._ sei den im EFL-Bericht genannten Rahmenbedingungen sogar sehr angepasst; trotzdem hätten die Rückenbeschwerden in den drei Jahren zugenommen; der Versicherte arbeite zeitlich zu 50 Prozent mit einer Leistung von 25 Prozent.
3. 3.1 Wie das kantonale Gericht in zutreffender Würdigung der Aktenlage zu Recht entschieden hat, bestand kein Anlass dazu, die halbe Invalidenrente des Beschwerdeführers per 30. September 1999 revisionsweise aufzuheben. Der Anspruch auf eine solche Rente bis zum 31. März 2001 ist ausgewiesen.
3.2 Die Vorinstanz hat sich bei der Beurteilung der Befristung der Rente per 31. März 2001 auf den EFL-Bericht vom 12. Februar 2001 abgestützt. Dies ist grundsätzlich nicht zu beanstanden, sieht man davon ab, dass für die Beurteilung der Zeitpunkt des Einspracheentscheides, nämlich der 20. November 2003, massgebend ist. Da zwischen dem EFL-Bericht vom 12. Februar 2001 und dem Einspracheentscheid vom 20. November 2003 ein Zeitraum von 33 Monaten liegt, kann für den für die Beurteilung massgeblichen Zeitpunkt des Einspracheentscheides nicht ausschliesslich auf den EFL-Bericht abgestellt werden. Insbesondere ist zu prüfen, ob die mit einschränkenden Vorbehalten gestellte Prognose des EFL-Berichts sich aus Gründen nicht verwirklichte, die nicht dem Beschwerdeführer anzulasten sind, und der ungünstige Verlauf der beruflichen Aktivitäten nach der Erstellung des EFL-Berichtes auf gesundheitliche Gründe zurückzuführen ist. Es kann auch sein, dass der im EFL-Bericht aufgezeigte Rahmen an Betätigungsmöglichkeiten unter dem Eindruck der während der Berichterstattung ausgeübten Tätigkeit in der Bäckerei etwas zu optimistisch abgesteckt wurde, auch wenn bereits erkannt worden war, dass eine berufliche Eingliederung an diesem Arbeitsplatz nur reduziert möglich sei.
3.3 Da nach dem Gesagten die bei den Akten liegenden Angaben zur medizinischen und beruflichen Situation des Beschwerdeführers nach dem 1. April 2001 nicht genügen, um die offenen Fragen schlüssig zu beurteilen, wird die Sache an die IV-Stelle zurückgewiesen. Sie wird nach Veranlassung der erforderlichen medizinischen und beruflichen Abklärungen über den Leistungsanspruch des Beschwerdeführers ab dem 1.April 2001 befinden.
3.3 Da nach dem Gesagten die bei den Akten liegenden Angaben zur medizinischen und beruflichen Situation des Beschwerdeführers nach dem 1. April 2001 nicht genügen, um die offenen Fragen schlüssig zu beurteilen, wird die Sache an die IV-Stelle zurückgewiesen. Sie wird nach Veranlassung der erforderlichen medizinischen und beruflichen Abklärungen über den Leistungsanspruch des Beschwerdeführers ab dem 1.April 2001 befinden.
4. Nachdem der Beschwerdeführer in dem Sinne obsiegt, als die Frage einer revisionsweisen Aufhebung der halben Invalidenrente (für die Zeit ab dem 1. April 2001) noch einmal zu prüfen ist, hat er Anspruch auf eine Parteientschädigung für das bundesgerichtliche Verfahren (Art. 159 Abs. 2 OG) sowie eine zusätzliche Parteientschädigung für das kantonale Verfahren. Es wird für beide Instanzen ein Gesamtbetrag festgesetzt (Art. 159 Abs. 6 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Verwaltungsgerichts des Kantons Luzern vom 29. Juli 2004 und der Einspracheentscheid der IV-Stelle Luzern vom 20. November 2003 aufgehoben werden und die Sache an die IV-Stelle Luzern zurückgewiesen wird, damit sie im Sinne der Erwägungen über den Rentenanspruch ab 1. April 2001 neu verfüge.
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Verwaltungsgerichts des Kantons Luzern vom 29. Juli 2004 und der Einspracheentscheid der IV-Stelle Luzern vom 20. November 2003 aufgehoben werden und die Sache an die IV-Stelle Luzern zurückgewiesen wird, damit sie im Sinne der Erwägungen über den Rentenanspruch ab 1. April 2001 neu verfüge.
2. Die IV-Stelle Luzern hat dem Beschwerdeführer für das gesamte Verfahren eine Parteientschädigung von Fr. 2000.- (einschliesslich Mehrwertsteuer) zu bezahlen.
2. Die IV-Stelle Luzern hat dem Beschwerdeführer für das gesamte Verfahren eine Parteientschädigung von Fr. 2000.- (einschliesslich Mehrwertsteuer) zu bezahlen.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, der Gastrosocial Ausgleichskasse und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 14. September 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: