Sachverhalt: Sachverhalt: A. Die IV-Stelle des Kantons Schwyz verneinte mit Verfügung vom 7. Mai 2003 den Rentenanspruch des 1956 geborenen K._ mangels rechtsgenüglichen Invaliditätsgrades. Gleichzeitig lehnte sie berufliche Massnahmen ab mit der Begründung, es fehle am geforderten Eingliederungswillen. Auf allein gegen den Rentenentscheid gerichtete Einsprache hin hielt die IV-Stelle mit Entscheid vom 16. August 2004 an ihrer Auffassung fest. A. Die IV-Stelle des Kantons Schwyz verneinte mit Verfügung vom 7. Mai 2003 den Rentenanspruch des 1956 geborenen K._ mangels rechtsgenüglichen Invaliditätsgrades. Gleichzeitig lehnte sie berufliche Massnahmen ab mit der Begründung, es fehle am geforderten Eingliederungswillen. Auf allein gegen den Rentenentscheid gerichtete Einsprache hin hielt die IV-Stelle mit Entscheid vom 16. August 2004 an ihrer Auffassung fest. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 11. Januar 2005 ab. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 11. Januar 2005 ab. C. K._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides und des Einspracheentscheides sei ihm mit Wirkung ab 1. April 2000 eine halbe Invalidenrente zuzusprechen. In verfahrensmässiger Hinsicht wird die Durchführung einer interdiziplinären Begutachtung beantragt. Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst und das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet, reicht das kantonale Gericht am 21. Februar 2005 ebenfalls eine Stellungnahme ein. Nachträglich lässt K._ den Bericht des sozialpsychiatrischen Dienstes des Kantons Schwyz vom 28. Februar 2005 ins Recht legen.