Sachverhalt: Sachverhalt: A. Der 1957 geborene V._ meldete sich am 19. Dezember 2001 zum Leistungsbezug (Umschulung auf eine neue Tätigkeit, besondere medizinische Eingliederungsmassnahmen, Rente) bei der Invalidenversicherung an. Eine Behinderung nannte er nicht, erklärte jedoch bei der Frage nach den behandelnden Ärzten, er sei seit ca. 1974 wegen Depressionen in medizinischer Behandlung und medikamentenabhängig geworden. Die IV-Stelle des Kantons Freiburg führte erwerbliche Abklärungen durch und holte einen Bericht des Hausarztes Dr. med. K._, Allgemeine Medizin FMH, vom 11. Januar 2001 (recte: 2002) ein, dem weitere Einschätzungen des Psychiatrischen Spitals X._, vom 26. August 1985, des Dr. med. B._, Physikalische Medizin und Rehabilitation, speziell Rheumaerkrankungen FMH, vom 4. Oktober und 22. November 1991 sowie des Dr. med. R._, Neurologie FMH, vom 13. Oktober 1994, beilagen. Einen weiteren Bericht vom 11. Februar 2002 verlangte die IV-Stelle von Dr. med. S._; auch diesem lagen zusätzliche Stellungnahmen der Psychologin Dr. phil. W._, Spital Y._, vom 15. Mai und 10. Juli 1996 sowie vom 29. September 1998 bei. Berichte forderte die IV-Stelle sodann bei der Psychiatrischen Poliklinik am Spital Q._ (vom 18. Februar und 5. Mai 2002) und bei Dr. med. C._, Spezialarzt für Psychiatrie, (vom 3. Juni 2002), ein. Mit Verlaufsbericht vom 20. Dezember 2002 berichtete Dr. med. S._ über die aktuellen Beschwerden des V._. Nach durchgeführtem Vorbescheidverfahren verfügte die IV-Stelle am 27. Dezember 2002 die Abweisung des Begehrens um medizinische Massnahmen und teilte V._ mit, bezüglich beruflicher Massnahmen und Rente seien zusätzliche Abklärungen nötig. Am 17. März 2003 erstattete Dr. med. H._, Psychiatrie und Psychotherapie FMH, das von der IV-Stelle in Auftrag gegebene Gutachten, worauf diese das Leistungsbegehren des V._ mit Verfügung vom 28. März 2003 mangels Invalidität ablehnte. Nachdem V._ vorgebracht hatte, sich zwischenzeitlich zu Dr. med. E._, Neurologie FMH, in Behandlung begeben zu haben, holte die IV-Stelle auch von diesem Arzt einen Bericht vom 21. Mai 2003 ein. Mit Einspracheentscheid vom 1. September 2003 hielt sie an ihrer Leistungsabweisung fest. B. Beschwerdeweise verlangte V._ eine neutrale Begutachtung sowie die Zusprechung einer ganzen Invalidenrente. Das Verwaltungsgericht des Kantons Freiburg, Sozialversicherungsgerichtshof, wies die Beschwerde am 6. Februar 2004 ab. B. Beschwerdeweise verlangte V._ eine neutrale Begutachtung sowie die Zusprechung einer ganzen Invalidenrente. Das Verwaltungsgericht des Kantons Freiburg, Sozialversicherungsgerichtshof, wies die Beschwerde am 6. Februar 2004 ab. C. V._ lässt Verwaltungsgerichtsbeschwerde führen und unter Aufhebung des angefochtenen Entscheids sinngemäss die Rückweisung der Sache zur Einholung eines neutralen polydisziplinären Gutachtens und erneuter Entscheidung beantragen. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde; das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.