Sachverhalt:
Sachverhalt:
A. C._, geboren 1953, arbeitete ab März 2000 bis zu seiner Entlassung wegen massiven Auftragseinbruchs per Ende November 2002 als Hilfsarbeiter für die Firma Q._ AG. Wegen chronischer Rückenschmerzen meldete er sich am 20. Dezember 2002 bei der Invalidenversicherung zum Leistungsbezug an, worauf die IV-Stelle des Kantons Graubünden je einen Bericht der ehemaligen Arbeitgeberin vom 15. Januar 2003 und des Dr. med. B._, Facharzt FMH für Innere Medizin, speziell Rheumatologie, vom 22. Januar 2003 (mit Bericht der Klinik X._ vom 17. Dezember 2002) einholte. Im Weiteren zog die Verwaltung die Akten der Arbeitslosen- und Taggeldversicherung bei; Letztere hatte C._ im Verlauf des Jahres 2002 mehrmals Leistungen ausgerichtet. Mit Verfügung vom 7. Mai 2003 lehnte die IV-Stelle den Anspruch auf Rente und berufliche Massnahmen mangels Bestehens einer Invalidität ab, da C._ für leichte und mittelschwere Tätigkeiten vollständig arbeitsfähig sei. Die mit Bericht des Dr. med. B._ vom 6. Juni 2003 erhobene Einsprache wurde mit Einspracheentscheid vom 29. September 2003 abgewiesen.
Nachdem sich C._ auch bei der Arbeitslosenversicherung angemeldet und diese ab Januar 2003 Taggeldleistungen erbracht hatte, verneinte das Amt für Industrie, Gewerbe und Arbeit des Kantons Graubünden (KIGA) mit Verfügung vom 18. September 2003 die Vermittlungsfähigkeit des C._ und lehnte ab dem 19. August 2003 den Anspruch auf Taggelder der Arbeitslosenversicherung ab. Eine dagegen erhobene Einsprache ist zur Zeit noch hängig.
Nachdem sich C._ auch bei der Arbeitslosenversicherung angemeldet und diese ab Januar 2003 Taggeldleistungen erbracht hatte, verneinte das Amt für Industrie, Gewerbe und Arbeit des Kantons Graubünden (KIGA) mit Verfügung vom 18. September 2003 die Vermittlungsfähigkeit des C._ und lehnte ab dem 19. August 2003 den Anspruch auf Taggelder der Arbeitslosenversicherung ab. Eine dagegen erhobene Einsprache ist zur Zeit noch hängig.
B. Die gegen den Einspracheentscheid der IV-Stelle erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 13. Januar 2004 ab, nachdem es je einen von der Arbeitslosenversicherung veranlassten Abklärungsbericht der Institution I._ vom 17. Juli 2003 und einen Arztbericht der A._, AG für medizinische und versicherungstechnische Abklärungen, vom 21. August 2003 zu den Akten genommen hatte.
B. Die gegen den Einspracheentscheid der IV-Stelle erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 13. Januar 2004 ab, nachdem es je einen von der Arbeitslosenversicherung veranlassten Abklärungsbericht der Institution I._ vom 17. Juli 2003 und einen Arztbericht der A._, AG für medizinische und versicherungstechnische Abklärungen, vom 21. August 2003 zu den Akten genommen hatte.
C. C._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides und des Einspracheentscheides sei die Sache an die Verwaltung zur weiteren Abklärung und zur Neubeurteilung der Ansprüche auf Rente und berufliche Massnahmen zurückzuweisen.
Die IV-Stelle schliesst sinngemäss auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.
Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. 1.1 Die Vorinstanz hat den Untersuchungsgrundsatz (Art. 43 Abs. 1 ATSG sowie BGE 125 V 195 Erw. 2) und den zeitlich massgebenden Sachverhalt (RKUV 2001 Nr. 419 S. 101) zutreffend dargelegt. Darauf wird verwiesen.
1.2 Am 1. Januar 2004 ist die 4. IVG-Revision in Kraft getreten. Weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (BGE 127 V 467 Erw. 1), und weil ferner das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses des streitigen Einspracheentscheides (September 2003) eingetretenen Sachverhalt abstellt (RKUV 2001 Nr. 419 S. 101), sind im vorliegenden Fall die bis zum 31. Dezember 2003 geltenden Bestimmungen anwendbar.
1.2 Am 1. Januar 2004 ist die 4. IVG-Revision in Kraft getreten. Weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (BGE 127 V 467 Erw. 1), und weil ferner das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses des streitigen Einspracheentscheides (September 2003) eingetretenen Sachverhalt abstellt (RKUV 2001 Nr. 419 S. 101), sind im vorliegenden Fall die bis zum 31. Dezember 2003 geltenden Bestimmungen anwendbar.
2. Streitig ist der Anspruch auf Rente sowie berufliche Massnahmen der Invalidenversicherung und in diesem Zusammenhang insbesondere die Frage des Vorliegens einer Invalidität resp. die Frage, ob sich der Gesundheitszustand zwischen Verfügungserlass im Mai 2003 und dem Einspracheentscheid Ende September 2003 geändert hat.
2.1 Das kantonale Gericht stellt auf die Berichte der Klinik X._ von Dezember 2002 und des Dr. med. B._ von Januar 2003 ab, die durch die weiteren in den Akten liegenden Berichte nicht entkräftet würden; so sei insbesondere die geklagte Symptomausweitung nicht belegt. Der Beschwerdeführer ist demgegenüber der Auffassung, aus dem Bericht des Dr. med. B._ von Juni 2003 und dem auf konkreten Abklärungen beruhenden Bericht der Institution I._ von Juli 2003 ergäben sich Anhaltspunkte für eine Verschlechterung des Gesundheitszustandes, die zu weiteren Abklärungen hätten führen müssen; aufgrund der geklagten Symptomausweitung sei insbesondere eine psychiatrische Abklärung durchzuführen. Im Weiteren habe die Arbeitslosenversicherung gestützt auf die Berichte der Institution I._ und der A._ AG von August 2003 die Vermittlungsfähigkeit verneint; es könne jedoch nicht sein, dass betreffend des gleichen hypothetischen ausgeglichenen Arbeitsmarktes gleichzeitig eine vollständige Arbeitsfähigkeit (Invalidenversicherung) und eine ganze Arbeitsunfähigkeit (Arbeitslosenversicherung) bestehe.
2.2 Im Bericht vom 17. Dezember 2002 kommt die Klinik X._ aufgrund eines einmonatigen Aufenthaltes des Versicherten klar zum Ergebnis, dass für leichte bis mittelschwere Tätigkeiten eine vollständige Arbeitsfähigkeit vorliege. Dr. med. B._ verweist im Bericht vom 22. Januar 2003 auf diese Einschätzung; zudem weist er darauf hin, dass in den letzten Monaten eine Verschlechterung stattgefunden habe und die Situation "eher noch unstabil" sei. Jedoch fällt auf, dass der Arzt im gleichen Bericht eine ergänzende medizinische Abklärung für nicht angezeigt erachtet.
Nach Verfügungserlass im Mai 2003 wird im Bericht des Dr. med. B._ vom 6. Juni 2003 zwar eine Verschlechterung des Gesundheitszustandes geltend gemacht, jedoch handelt es sich dabei offensichtlich nur um eine Wiedergabe der Aussagen des Versicherten; entgegen der Auffassung in der Verwaltungsgerichtsbeschwerde wird dadurch eine Veränderung nicht medizinisch belegt. Für die Arbeitslosenversicherung hat die A._ AG eine vertrauensärztliche Beurteilung und Untersuchung durchgeführt und im Bericht vom 21. August 2003 festgehalten, dass im "Laufe dieses Jahres ... weitere Beschwerden mit unklaren Schmerzen in verschiedenen Gelenken hinzugekommen" seien, die jedoch gemäss Hausarzt keinem rheumatologischen Leiden zugeordnet werden könnten; es sei von einer Symptomausweitung auszugehen. In der Beurteilung hält die A._ AG fest, dass infolge der Symptomausweitung "eine erhebliche Diskrepanz zwischen den objektiv zu erhebenden Befunden und dem Beschwerdebild" bestehe und "rein theoretisch" von einer vollständigen Arbeitsfähigkeit für leidensangepasste Tätigkeiten (wechselnd sitzend/stehend/gehend, manuelle Arbeit ohne Heben von Lasten über zehn Kilogramm) auszugehen sei. "Aufgrund der ... bereits eingetretenen Symptomausweitung" sei ein solcher Einsatz jedoch kaum zu realisieren. Damit ist davon auszugehen, dass eine Symptomausweitung ärztlich nachgewiesen ist, wobei jedoch nicht klar ist, ob die von der A._ AG berichtete Symptomausweitung allenfalls auf einem psychischen Gesundheitsschaden mit Krankheitswert beruht, welche die Verwertung der theoretischen Restarbeitsfähigkeit verunmöglicht, oder ob eine als nicht relevant geltende Beeinträchtigung der Erwerbsfähigkeit vorliegt, die der Versicherte bei Aufbietung allen guten Willens zu vermeiden vermöchte (wobei das Mass des Forderbaren weitgehend objektiv zu bestimmen ist; BGE 102 V 165, AHI 2001 S. 228 Erw. 2b mit Hinweisen; vgl. auch BGE 127 V 298 Erw. 4c in fine). Wegen der von der A._ AG angenommenen und in ihrer Berurteilung der Arbeitsfähigkeit berücksichtigten, aber nicht weiter erläuterten Symptomausweitung besteht hier Anlass, diese Frage im Rahmen des Untersuchungsgrundsatzes abzuklären. Die Sache ist deshalb an die Verwaltung zurückzuweisen, damit sie die ihr in dieser Hinsicht notwendig erscheinenden Vorkehren treffe und anschliessend neu verfüge.
Nach Verfügungserlass im Mai 2003 wird im Bericht des Dr. med. B._ vom 6. Juni 2003 zwar eine Verschlechterung des Gesundheitszustandes geltend gemacht, jedoch handelt es sich dabei offensichtlich nur um eine Wiedergabe der Aussagen des Versicherten; entgegen der Auffassung in der Verwaltungsgerichtsbeschwerde wird dadurch eine Veränderung nicht medizinisch belegt. Für die Arbeitslosenversicherung hat die A._ AG eine vertrauensärztliche Beurteilung und Untersuchung durchgeführt und im Bericht vom 21. August 2003 festgehalten, dass im "Laufe dieses Jahres ... weitere Beschwerden mit unklaren Schmerzen in verschiedenen Gelenken hinzugekommen" seien, die jedoch gemäss Hausarzt keinem rheumatologischen Leiden zugeordnet werden könnten; es sei von einer Symptomausweitung auszugehen. In der Beurteilung hält die A._ AG fest, dass infolge der Symptomausweitung "eine erhebliche Diskrepanz zwischen den objektiv zu erhebenden Befunden und dem Beschwerdebild" bestehe und "rein theoretisch" von einer vollständigen Arbeitsfähigkeit für leidensangepasste Tätigkeiten (wechselnd sitzend/stehend/gehend, manuelle Arbeit ohne Heben von Lasten über zehn Kilogramm) auszugehen sei. "Aufgrund der ... bereits eingetretenen Symptomausweitung" sei ein solcher Einsatz jedoch kaum zu realisieren. Damit ist davon auszugehen, dass eine Symptomausweitung ärztlich nachgewiesen ist, wobei jedoch nicht klar ist, ob die von der A._ AG berichtete Symptomausweitung allenfalls auf einem psychischen Gesundheitsschaden mit Krankheitswert beruht, welche die Verwertung der theoretischen Restarbeitsfähigkeit verunmöglicht, oder ob eine als nicht relevant geltende Beeinträchtigung der Erwerbsfähigkeit vorliegt, die der Versicherte bei Aufbietung allen guten Willens zu vermeiden vermöchte (wobei das Mass des Forderbaren weitgehend objektiv zu bestimmen ist; BGE 102 V 165, AHI 2001 S. 228 Erw. 2b mit Hinweisen; vgl. auch BGE 127 V 298 Erw. 4c in fine). Wegen der von der A._ AG angenommenen und in ihrer Berurteilung der Arbeitsfähigkeit berücksichtigten, aber nicht weiter erläuterten Symptomausweitung besteht hier Anlass, diese Frage im Rahmen des Untersuchungsgrundsatzes abzuklären. Die Sache ist deshalb an die Verwaltung zurückzuweisen, damit sie die ihr in dieser Hinsicht notwendig erscheinenden Vorkehren treffe und anschliessend neu verfüge.
3. Das Verfahren ist kostenlos (Art. 134 OG). Dem Ausgang des letztinstanzlichen Verfahrens entsprechend steht dem obsiegenden Versicherten eine Parteientschädigung zu (Art. 135 OG in Verbindung mit Art. 159 Abs. 2 OG).
Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. In Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Verwaltungsgerichts des Kantons Graubünden vom 13. Januar 2004 und der Einspracheentscheid der IV-Stelle des Kantons Graubünden vom 29. September 2003 aufgehoben, und es wird die Sache an die Verwaltung zurückgewiesen, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, neu verfüge.
1. In Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Verwaltungsgerichts des Kantons Graubünden vom 13. Januar 2004 und der Einspracheentscheid der IV-Stelle des Kantons Graubünden vom 29. September 2003 aufgehoben, und es wird die Sache an die Verwaltung zurückgewiesen, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, neu verfüge.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Die IV-Stelle des Kantons Graubünden hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 2500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
3. Die IV-Stelle des Kantons Graubünden hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 2500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Das Verwaltungsgericht des Kantons Graubünden wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
4. Das Verwaltungsgericht des Kantons Graubünden wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden, der Ausgleichskasse für Gewerbe, Handel und Industrie in Graubünden und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 25. Juni 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: