Sachverhalt:
Sachverhalt:
A. Der 1957 geborene V._ meldete sich am 19. Dezember 2001 zum Leistungsbezug (Umschulung auf eine neue Tätigkeit, besondere medizinische Eingliederungsmassnahmen, Rente) bei der Invalidenversicherung an. Eine Behinderung nannte er nicht, erklärte jedoch bei der Frage nach den behandelnden Ärzten, er sei seit ca. 1974 wegen Depressionen in medizinischer Behandlung und medikamentenabhängig geworden. Die IV-Stelle des Kantons Freiburg führte erwerbliche Abklärungen durch und holte einen Bericht des Hausarztes Dr. med. K._, Allgemeine Medizin FMH, vom 11. Januar 2001 (recte: 2002) ein, dem weitere Einschätzungen des Psychiatrischen Spitals X._, vom 26. August 1985, des Dr. med. B._, Physikalische Medizin und Rehabilitation, speziell Rheumaerkrankungen FMH, vom 4. Oktober und 22. November 1991 sowie des Dr. med. R._, Neurologie FMH, vom 13. Oktober 1994, beilagen. Einen weiteren Bericht vom 11. Februar 2002 verlangte die IV-Stelle von Dr. med. S._; auch diesem lagen zusätzliche Stellungnahmen der Psychologin Dr. phil. W._, Spital Y._, vom 15. Mai und 10. Juli 1996 sowie vom 29. September 1998 bei. Berichte forderte die IV-Stelle sodann bei der Psychiatrischen Poliklinik am Spital Q._ (vom 18. Februar und 5. Mai 2002) und bei Dr. med. C._, Spezialarzt für Psychiatrie, (vom 3. Juni 2002), ein. Mit Verlaufsbericht vom 20. Dezember 2002 berichtete Dr. med. S._ über die aktuellen Beschwerden des V._. Nach durchgeführtem Vorbescheidverfahren verfügte die IV-Stelle am 27. Dezember 2002 die Abweisung des Begehrens um medizinische Massnahmen und teilte V._ mit, bezüglich beruflicher Massnahmen und Rente seien zusätzliche Abklärungen nötig. Am 17. März 2003 erstattete Dr. med. H._, Psychiatrie und Psychotherapie FMH, das von der IV-Stelle in Auftrag gegebene Gutachten, worauf diese das Leistungsbegehren des V._ mit Verfügung vom 28. März 2003 mangels Invalidität ablehnte. Nachdem V._ vorgebracht hatte, sich zwischenzeitlich zu Dr. med. E._, Neurologie FMH, in Behandlung begeben zu haben, holte die IV-Stelle auch von diesem Arzt einen Bericht vom 21. Mai 2003 ein. Mit Einspracheentscheid vom 1. September 2003 hielt sie an ihrer Leistungsabweisung fest.
B. Beschwerdeweise verlangte V._ eine neutrale Begutachtung sowie die Zusprechung einer ganzen Invalidenrente. Das Verwaltungsgericht des Kantons Freiburg, Sozialversicherungsgerichtshof, wies die Beschwerde am 6. Februar 2004 ab.
B. Beschwerdeweise verlangte V._ eine neutrale Begutachtung sowie die Zusprechung einer ganzen Invalidenrente. Das Verwaltungsgericht des Kantons Freiburg, Sozialversicherungsgerichtshof, wies die Beschwerde am 6. Februar 2004 ab.
C. V._ lässt Verwaltungsgerichtsbeschwerde führen und unter Aufhebung des angefochtenen Entscheids sinngemäss die Rückweisung der Sache zur Einholung eines neutralen polydisziplinären Gutachtens und erneuter Entscheidung beantragen.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde; das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Am 1. Januar 2003 sind das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 und die Verordnung über den Allgemeinen Teil des Sozialversicherungsrechts (ATSV) vom 11. September 2002 in Kraft getreten. Mit ihnen sind unter anderem auch im Invalidenversicherungsrecht verschiedene materiell-rechtliche Bestimmungen geändert worden. In zeitlicher Hinsicht sind grundsätzlich diejenigen Rechtssätze massgeblich, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben; ferner stellt das Sozialversicherungsrecht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses des streitigen Einspracheentscheides (hier: 1. September 2003) eingetretenen Sachverhalt ab (<ref-ruling> Erw. 1.2 mit Hinweisen).
1.1 Es kann offen bleiben, ob auf Grund von <ref-law> in Verbindung mit <ref-law> die Normen des Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 zur Arbeitsunfähigkeit (<ref-law>), zur Erwerbsunfähigkeit (<ref-law>), zur Invalidität (<ref-law>) und zur Bestimmung des Invaliditätsgrades (<ref-law>) zu berücksichtigen sind. Im zur Publikation vorgesehenen Urteil A. vom 30. April 2004, I 626/03, hat das Eidgenössische Versicherungsgericht erkannt, dass es sich bei den in Art. 3-13 ATSG enthaltenen Legaldefinitionen in aller Regel um eine formell-gesetzliche Fassung der höchstrichterlichen Rechtsprechung zu den entsprechenden Begriffen vor Inkrafttreten des ATSG handelt und sich inhaltlich damit keine Änderung ergibt, weshalb die hiezu entwickelte Rechtsprechung übernommen und weitergeführt werden kann (vgl. das erwähnte Urteil A. vom 30. April 2004, Erw. 3.1, 3.2 und 3.3). Auch die Normierung des <ref-law> führt nicht zu einer Modifizierung der bisherigen Judikatur zur Invaliditätsbemessung bei erwerbstätigen Versicherten, welche weiterhin nach der allgemeinen Methode des Einkommensvergleichs vorzunehmen ist (Urteil A. vom 30. April 2004, Erw. 3.4; <ref-ruling> Erw. 1, 104 V 136 f. Erw. 2a und b).
1.2 Im angefochtenen Entscheid werden die Bestimmungen und Grundsätze zum Anspruch auf Eingliederungsmassnahmen (<ref-law>) sowie die Voraussetzungen des Anspruchs auf eine Rente der Invalidenversicherung (<ref-law>) zutreffend dargelegt. Darauf wird verwiesen.
1.3 Nach dem für das gesamte Verwaltungs- und Verwaltungsgerichtsbeschwerdeverfahren gültigen Grundsatz der freien Beweiswürdigung (<ref-law> in Verbindung mit Art. 135 OG; Art. 95 Abs. 2 OG in Verbindung mit Art. 113 und 132 OG; <ref-law> in Verbindung mit <ref-law>; Meyer-Blaser, Bundesgesetz über die Invalidenversicherung [IVG], in: Murer/Stauffer [Hrsg.], Die Rechtsprechung des Bundesgerichts zum Sozialversicherungsrecht, Zürich 1997, S. 229) haben Versicherungsträger und Sozialversicherungsgericht die Beweise frei, d.h. ohne Bindung an förmliche Beweisregeln, sowie umfassend und pflichtgemäss zu würdigen. Für das Beschwerdeverfahren bedeutet dies, dass das Sozialversicherungsgericht alle Beweismittel, unabhängig davon, von wem sie stammen, objektiv zu prüfen und danach zu entscheiden hat, ob die verfügbaren Unterlagen eine zuverlässige Beurteilung des streitigen Rechtsanspruches gestatten. Insbesondere darf es bei einander widersprechenden medizinischen Berichten den Prozess nicht erledigen, ohne das gesamte Beweismaterial zu würdigen und die Gründe anzugeben, warum es auf die eine und nicht auf die andere medizinische These abstellt. Hinsichtlich des Beweiswertes eines Arztberichtes ist also entscheidend, ob der Bericht für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge und der medizinischen Situation einleuchtet und ob die Schlussfolgerungen des Experten begründet sind. Ausschlaggebend für den Beweiswert ist grundsätzlich somit weder die Herkunft eines Beweismittels noch die Bezeichnung der eingereichten oder in Auftrag gegebenen Stellungnahme als Bericht oder Gutachten (<ref-ruling> Erw. 3a, 122 V 160 f. Erw. 1c).
1.3 Nach dem für das gesamte Verwaltungs- und Verwaltungsgerichtsbeschwerdeverfahren gültigen Grundsatz der freien Beweiswürdigung (<ref-law> in Verbindung mit Art. 135 OG; Art. 95 Abs. 2 OG in Verbindung mit Art. 113 und 132 OG; <ref-law> in Verbindung mit <ref-law>; Meyer-Blaser, Bundesgesetz über die Invalidenversicherung [IVG], in: Murer/Stauffer [Hrsg.], Die Rechtsprechung des Bundesgerichts zum Sozialversicherungsrecht, Zürich 1997, S. 229) haben Versicherungsträger und Sozialversicherungsgericht die Beweise frei, d.h. ohne Bindung an förmliche Beweisregeln, sowie umfassend und pflichtgemäss zu würdigen. Für das Beschwerdeverfahren bedeutet dies, dass das Sozialversicherungsgericht alle Beweismittel, unabhängig davon, von wem sie stammen, objektiv zu prüfen und danach zu entscheiden hat, ob die verfügbaren Unterlagen eine zuverlässige Beurteilung des streitigen Rechtsanspruches gestatten. Insbesondere darf es bei einander widersprechenden medizinischen Berichten den Prozess nicht erledigen, ohne das gesamte Beweismaterial zu würdigen und die Gründe anzugeben, warum es auf die eine und nicht auf die andere medizinische These abstellt. Hinsichtlich des Beweiswertes eines Arztberichtes ist also entscheidend, ob der Bericht für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge und der medizinischen Situation einleuchtet und ob die Schlussfolgerungen des Experten begründet sind. Ausschlaggebend für den Beweiswert ist grundsätzlich somit weder die Herkunft eines Beweismittels noch die Bezeichnung der eingereichten oder in Auftrag gegebenen Stellungnahme als Bericht oder Gutachten (<ref-ruling> Erw. 3a, 122 V 160 f. Erw. 1c).
2. 2.1 Das kantonale Gericht erwog, gemäss den Ausführungen des Dr. med. H._ in seinem Gutachten vom 17. März 2003, auf welche abzustellen sei, leide der Versicherte in psychisch-geistiger Hinsicht nicht an krankheitsbedingten Beeinträchtigungen, welche die Arbeitsfähigkeit beeinträchtigten. Ebenso wenig begründe die Polytoxikomanie einen invalidisierenden Gesundheitsschaden; auch das diagnostizierte restless-legs-Syndrom schränke die Arbeitsfähigkeit nicht ein. Es bestehe deshalb keine Invalidität im Sinne des Gesetzes.
Demgegenüber bringt der Beschwerdeführer vor, auf das Gutachten des Dr. med. H._ könne nicht abgestellt werden, da dessen Einschätzungen im Widerspruch zu den Beurteilungen des Dr. med. L._ von der Psychiatrischen Poliklinik am Spital Q._ vom 18. Februar 2002 sowie des Dr. med. C._ vom 5. Mai 2002 stünden. Auch die Ausführungen des Dr. med. E._, wonach aus neurologischer Sicht keine Einschränkung der Arbeitsfähigkeit bestehe, seien einseitig. Er, der Versicherte, sei aus körperlicher Sicht zwar in der Lage zu arbeiten, jedoch könne er angesichts seiner Schlafprobleme (nachts schlafe er kaum oder höchstens 2 bis 3 Stunden) keiner regelmässigen Vollbeschäftigung nachgehen. Diese Störungen müssten bei der Beurteilung des Gesundheitsschadens einbezogen werden, was Dr. med. H._ unterlassen habe. Angesichts der unterschiedlichen gesundheitlichen Beeinträchtigungen könne nur eine interdisziplinäre Beurteilung den gegenseitigen Wechselwirkungen der Beschwerden angemessen Rechnung tragen.
2.2 Aus den Akten ergibt sich, dass der Versicherte seit Kindheit an Depressionen litt. Im Jahre 1985 war er wegen sekundärem Alkoholismus bei chronischen Angstzuständen sowie Medikamentenmissbrauch im Psychiatrischen Spitals X._, in stationärer Behandlung. Der Psychiater Dr. med. C._, der den Versicherten in den Jahren 1977 bis 1987 behandelte, diagnostizierte eine ausgeprägte Dysthymie sowie depressiv-ängstliche Verstimmungszustände bei einzelgängerischem, selbstunsicherem, milieugeschädigtem Hilfsarbeiter und einen sekundären Alkoholismus; der Gesundheitszustand sei damals besserungsfähig gewesen, er habe keine Arbeitsunfähigkeiten bescheinigt. Schwere depressive Verstimmungen mit Suizidideen und sozialem Rückzug wurden sodann von der Psychologin Dr. phil. W._, Spital Y._, diagnostiziert (Bericht vom 29. September 1998). Dr. med. S._, der den Beschwerdeführer ab 1994 sporadisch betreute, stellte mit Bericht vom 11. Februar 2002 ebenfalls eine Depression, nebst fehlendem Sitzleder sowie einer Polytoxikomanie fest und führte aus, es handle sich beim Versicherten um einen Persönlichkeitstypus vom psychiatrischen Formenkreis (schizoid/manisch-depressiv). Der psychische Zustand bestimme die Arbeitsdauer; die Leistungsunfähigkeit betrage 0-100 %. Die Ärzte der Psychiatrischen Polyklinik am Spital Q._ gaben am 18. Februar 2002 als Diagnosen mit Auswirkungen auf die Arbeitsfähigkeit eine (differenzial-diagnostisch abhängige, schizoide) Persönlichkeitsstörung, eine wahrscheinlich seit Kindheit bestehende soziale Phobie sowie Alkohol- und Cannabismissbrauch an und führten am 5. Mai 2002 aus, die Arbeitsfähigkeit betrage maximal 50 %. Prognostisch sei mit einer Verbesserung bis in einem Jahr zu rechnen, allerdings sei die Compliance bezüglich Medikamenteneinnahme als gering einzuschätzen. Mit Verlaufsbericht vom 20. Dezember 2002 informierte Dr. med. S._ die IV-Stelle, der Versicherte leide seit Frühjahr 2002 an einer Kniebinnenläsion sowie an einem Knorpelschaden im Kniegelenk. Zudem bestehe ein Verdacht auf eine Meniskusläsion und eine Bakerzyste. Die bisherige Tätigkeit sei ganztags zumutbar bei einer um mindestens 50 % verminderten Leistungsfähigkeit. Andere Tätigkeiten seien in einer geschützten Werkstätte mit positivem Arbeitsumfeld ganztags zumutbar, bei einer um 50-66 % verminderten Leistungsfähigkeit.
Dr. med. H._ stellte in seinem Gutachten vom 17. März 2003 fest, der Versicherte sei an einer psychiatrischen Behandlung nicht interessiert, habe sich für einen freien Lebensstil entschieden und wolle daran nichts ändern. Die bestehende Polytoxikomanie sei nicht ausgeprägt und verursache keine irreversiblen Folgeschäden; es lasse sich insbesondere kein amnestisches Syndrom nachweisen. Der eigenwillige Lebensstil sei eine Normvariante. Anderweitige psychische Störungen seien nicht nachweisbar, z.B. fehlten Hinweise für eine bedeutende Depression. Auch klage der Beschwerdeführer nicht über Angstzustände. Demzufolge fänden sich kaum krankheitsbedingte Beeinträchtigungen auf der psychisch-geistigen Ebene. Die unzulänglichen sozialen Fähigkeiten (Z73.4) und die generellen Probleme bei der Lebensführung (Z72) seien ohne Auswirkungen auf die Arbeitsfähigkeit. Bezüglich der früheren Tätigkeiten fehle es an eindeutigen Einschränkungen durch eine psychische Krankheit; eine verminderte Leistungsfähigkeit bestehe nicht und eine medizinisch begründete Arbeitsunfähigkeit von 20 % oder mehr sei nie durch einen psychischen Gesundheitsschaden verursacht worden. Die Zumutbarkeit im Arbeitsumfeld sei leicht reduziert. In angepassten (d.h. seiner Lebensphilosophie entsprechenden) Tätigkeiten bestehe keine zeitliche Einschränkung.
2.3 Übereinstimmung herrscht darüber, dass aus neurologischer Sicht keine Arbeitsunfähigkeit besteht (Berichte des Dr. med. R._ vom 13. Oktober 1994 und des Dr. med. E._ vom 21. Mai 2003), weshalb diesbezüglich auf weitere Abklärungen verzichtet werden kann. Hingegen fällt auf, dass die behandelnden Ärzte hinsichtlich der psychischen Beschwerden in den bis Ende des Jahres 2002 erstellten Berichten übereinstimmend eine seit der Schulzeit bestehende, von Angstzuständen, Depressionen und Suchtverhalten geprägte Leidensgeschichte beschreiben, welche zeitweilig auch die Arbeitsfähigkeit des Versicherten einschränkte. In den testpsychologischen Untersuchungen am Spital Q._ vom 18. Februar 2002 ergab das Mini-Mental-State Screening (ein 10-minütiges, international gebräuchliches Demenz-Screeningmass; vgl. Möller/Laux/Kapfhammer, Psychiatrie und Psychotherapie, Berlin etc. 2000, S. 413) normale Werte, das Beck Depression Inventory (BDI) 25 Punkte (wobei 5-9 Punkte einem Normalbefund entsprechen, 10-18 Punkte einer milden bis mässigen Depression, 19-29 Punkten einer mässigen bis schweren Depression und 30-63 Punkte einer schweren Depression; vgl. Beck/Ward/Mendelson/Mock/Erbaugh, An Inventory for measuring Depression, in: Archives of General Psychiatry 4 [1961], S. 561-571) und die Befindlichkeitsskala (Bf-S) einen T-Wert von 77 (entsprechend einer sehr stark eingeschränkten Befindlichkeit). Demgegenüber verneinte Dr. med. H._ in seinem Gutachten ohne nähere Erläuterung, welche Untersuchungen er vorgenommen und welche Resultate sich dabei ergeben hatten, generell das Vorliegen eines invalidisierenden psychischen Gesundheitsschadens. Es ist jedoch fraglich, ob die seit vielen Jahren bestehenden psychischen Probleme des Versicherten, welche auch in diversen stationären und ambulanten Therapien nicht gebessert werden konnten, innert kurzer Zeit fast gänzlich abgeklungen sind. Zwar stellten die Ärzte am Spital Q._ grundsätzlich eine günstige Prognose (Bericht vom 5. Mai 2002), wiesen jedoch auf die geringe Compliance bezüglich Medikamenteneinnahme hin und relativierten damit die theoretisch zu erwartende Besserung erheblich. Im Übrigen steht die Feststellung des Dr. med. H._, wonach eine medizinisch begründete Arbeitsunfähigkeit von mindestens 20 % nie durch einen psychischen Gesundheitsschaden bewirkt worden sei, im Widerspruch zur Einschätzung anderer Ärzte. So bescheinigten die Mediziner an der psychiatrischen Poliklinik am Spital Q._ mit Bericht vom 5. Mai 2002 eine maximal 50%ige Arbeitsfähigkeit und bereits zuvor hatte Dr. med. S._ ausgeführt, der psychische Zustand bestimme die Arbeitsdauer; die Leistungsfähigkeit sei um 0-100 % vermindert (Bericht vom 11. Februar 2002; im Wesentlichen bestätigt am 20. Dezember 2002). Auch wenn bei der Beweiswürdigung zu berücksichtigen ist, dass Hausärzte mitunter eher zugunsten ihrer Patienten aussagen (<ref-ruling> Erw. 3b/cc mit Hinweisen) und - im Hinblick auf einen möglichen Ziel- und Interessenkonflikt (Behandlung versus Begutachtung) - namentlich in umstrittenen Fällen regelmässig auch nicht unbesehen auf die Angaben eines behandelnden Spezialisten abzustellen ist (Urteil P. vom 5. April 2004, I 814/03), kann die Feststellung im angefochtenen Entscheid, wonach die Schlussfolgerungen des Dr. med. H._ entscheidend seien und demzufolge keine invalidisierende Gesundheitsschädigung vorliege, nicht als hinreichend gesichert gelten. Vielmehr lassen sich bezüglich des aus psychiatrischer Sicht noch zumutbaren Leistungsvermögens keine klaren Schlüsse ziehen, weshalb zusätzlicher Abklärungsbedarf besteht. Die IV-Stelle, an welche die Sache zurückzuweisen ist, wird ein zusätzliches Gutachten einzuholen haben, welches sich - unter Berücksichtigung des zwischenzeitlich eingetretenen Knieschadens - zur Arbeitsfähigkeit des Beschwerdeführers äussert, und hernach über den Rentenanspruch des Versicherten neu befinden.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. In Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Verwaltungsgerichts des Kantons Freiburg, Sozialversicherungsgerichtshof, vom 6. Februar 2004 und der Einspracheentscheid vom 1. September 2003 aufgehoben und es wird die Sache an die IV-Stelle des Kantons Freiburg zurückgewiesen, damit diese, nach erfolgter Abklärung im Sinne der Erwägungen, über den Leistungsanspruch des Beschwerdeführers neu verfüge.
1. In Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Verwaltungsgerichts des Kantons Freiburg, Sozialversicherungsgerichtshof, vom 6. Februar 2004 und der Einspracheentscheid vom 1. September 2003 aufgehoben und es wird die Sache an die IV-Stelle des Kantons Freiburg zurückgewiesen, damit diese, nach erfolgter Abklärung im Sinne der Erwägungen, über den Leistungsanspruch des Beschwerdeführers neu verfüge.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Freiburg, Sozialversicherungsgerichtshof, der Ausgleichskasse des Kantons Freiburg und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 2. Juli 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Die Gerichtsschreiberin:
i.V.