Sachverhalt:
Sachverhalt:
A. Die IV-Stelle des Kantons Schwyz verneinte mit Verfügung vom 7. Mai 2003 den Rentenanspruch des 1956 geborenen K._ mangels rechtsgenüglichen Invaliditätsgrades. Gleichzeitig lehnte sie berufliche Massnahmen ab mit der Begründung, es fehle am geforderten Eingliederungswillen. Auf allein gegen den Rentenentscheid gerichtete Einsprache hin hielt die IV-Stelle mit Entscheid vom 16. August 2004 an ihrer Auffassung fest.
A. Die IV-Stelle des Kantons Schwyz verneinte mit Verfügung vom 7. Mai 2003 den Rentenanspruch des 1956 geborenen K._ mangels rechtsgenüglichen Invaliditätsgrades. Gleichzeitig lehnte sie berufliche Massnahmen ab mit der Begründung, es fehle am geforderten Eingliederungswillen. Auf allein gegen den Rentenentscheid gerichtete Einsprache hin hielt die IV-Stelle mit Entscheid vom 16. August 2004 an ihrer Auffassung fest.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 11. Januar 2005 ab.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 11. Januar 2005 ab.
C. K._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides und des Einspracheentscheides sei ihm mit Wirkung ab 1. April 2000 eine halbe Invalidenrente zuzusprechen. In verfahrensmässiger Hinsicht wird die Durchführung einer interdiziplinären Begutachtung beantragt.
Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst und das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet, reicht das kantonale Gericht am 21. Februar 2005 ebenfalls eine Stellungnahme ein.
Nachträglich lässt K._ den Bericht des sozialpsychiatrischen Dienstes des Kantons Schwyz vom 28. Februar 2005 ins Recht legen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Das kantonale Gericht hat die Bestimmungen und Grundsätze über den Umfang des Invalidenrentenanspruchs (Art. 28 Abs. 1 IVG), die Bemessung des Invaliditätsgrades nach der Einkommensvergleichsmethode (Art. 16 ATSG; vgl. auch <ref-ruling> Erw. 3.4, 128 V 30 Erw. 1, 104 V 136 Erw. 2a und b), die Bedeutung ärztlicher Angaben für die Belange der Invaliditätsschätzung (<ref-ruling> Erw. 4 mit Hinweisen) und die Beweiswürdigung (<ref-ruling> Erw. 3a, 122 V 160 Erw. 1c mit Hinweisen) zutreffend dargelegt. Darauf kann verwiesen werden.
1. Das kantonale Gericht hat die Bestimmungen und Grundsätze über den Umfang des Invalidenrentenanspruchs (Art. 28 Abs. 1 IVG), die Bemessung des Invaliditätsgrades nach der Einkommensvergleichsmethode (Art. 16 ATSG; vgl. auch <ref-ruling> Erw. 3.4, 128 V 30 Erw. 1, 104 V 136 Erw. 2a und b), die Bedeutung ärztlicher Angaben für die Belange der Invaliditätsschätzung (<ref-ruling> Erw. 4 mit Hinweisen) und die Beweiswürdigung (<ref-ruling> Erw. 3a, 122 V 160 Erw. 1c mit Hinweisen) zutreffend dargelegt. Darauf kann verwiesen werden.
2. 2.1 Die Vorinstanz hat sodann einlässlich begründet, dass der Versicherte in einer körperlich leichteren, leidensadaptierten Tätigkeit bei Aufbringung allen guten Willens in zumutbarer Weise eine Arbeitsfähigkeit von mindestes 70 % realisieren könnte. Darauf ist ebenfalls zu verweisen. Insbesondere hat das kantonale Gericht in erster Linie auf die auf medizinischen und beruflichen Abklärungen beruhende Einschätzung der Abklärungs- und Ausbildungsstätte Appisberg, Männedorf, vom 3. September 2002 abgestellt und nicht auf die ohne ersichtlichen Grund geringfügig davon abweichende (65 % Arbeitsfähigkeit) des Sozialpsychiatrischen Dienstes des Kantons Schwyz vom 21. Januar 2003. Ohne ersichtlichen Grund deshalb, weil die darin gestellte Diagnose einer mittelgradigen somatoformen Schmerzstörung allein keine Invalidität begründet, wie von der Vorinstanz in der Stellungnahme zu den Vorbringen in der Verwaltungsgerichtsbeschwerde zutreffend dargelegt ist (<ref-ruling> Erw. 2.1), und damit bei der Einschätzung der Restarbeitsfähigkeit nicht ohne Weiteres zu berücksichtigen ist. Vielmehr bedürfte es bestimmter Umstände, welche die Schmerzbewältigung intensiv und konstant behindern und den Wiedereinstieg in den Arbeitsprozess unzumutbar machen. Solche Umstände sind aber nicht ausgewiesen. Der sozialpsychiatrische Dienst geht vielmehr selbst vom Fehlen einer deutlichen depressiven Verstimmung aus und verneinte sowohl einen sozialen Rückzug als auch das Bild des ständigen Gequältseins (vgl. dazu <ref-ruling> Erw. 1.2 letzter Absatz). Für weitere Abklärungen, wie etwa die letztinstanzlich beantragte interdisziplinäre Begutachtung, besteht angesichts der klaren Aktenlage keine Veranlassung. Allein die Tatsache, dass in einem Gutachten von einer somatoformen Störung die Rede ist, genügt nicht. Selbst wenn der nach Ablauf der Rechtsmittelfrist ins Recht gelegte Bericht des sozialpsychiatrischen Dienstes des Kantons Schwyz vom 28. Februar 2005 zu berücksichtigen wäre (vgl. aber <ref-ruling>), so liessen sich daraus keine neuen Erkenntnisse auf den hier interessierenden Zeitraum bis zu Einspracheentscheid vom 16. August 2004 gewinnen (<ref-ruling> Erw. 1b mit Hinweisen).
2.2 Ausgehend von einer Restarbeitsfähigkeit von 70 % in einer leidensangepassten Tätigkeit schloss das kantonale Gericht unter Bezugnahme auf den gemäss der Schweizerischen Lohnstrukturerhebung des Bundesamtes für Statistik für das Jahr 2002 (LSE) ausgewiesenen Durchschnittsverdienst eines Hilfsarbeiters mit einfachen und repetitiven Tätigkeiten im privaten Sektor (LSE 2002 S. 43 TA1) auf ein Invalideneinkommen in der Höhe von 32'409.- für das Jahr 2003. Dabei rechnete es den Tabellenwert nicht nur auf die betriebsübliche wöchentliche Arbeitszeit von 41,7 Stunden und ein Teilzeitpensum von 70 % um, sondern glich ihn auch der Nominallohnentwicklung bis ins Jahr 2003 an. Zusätzlich reduzierte es diesen Betrag prozentual im gleichen Umfang wie der Verdienst des Versicherten als Gesunder unter dem branchenüblichen Schnitt lag (11,3 %), ehe sie zusätzlich einen sogenannten leidensbedingten Abzug von weiteren 10 % vornahm.
Dieses Vorgehen ist lediglich insoweit zu beanstanden, als die Lohnentwicklung 2003 irrtümlicherweise basierend auf der Nominallohnindexentwicklung 2001 - 2002 festlegt wurde (Lohnentwicklung 2002, Bundesamt für Statistik S. 30 T 1.93). In Nachachtung der korrekterweise zu verwendenden Zahlen liegt der (zu recht) unbestritten gebliebene Validenverdienst von Fr. 50'400.- für das Jahr 2003 10,6 % unter den durchschnittlich im holzver- und -bearbeitenden Gewerbe bezahlten Löhnen (Die Volkswirtschaft Heft 7-2004 S. 92 Tabelle B 10.4: Index 2002 110.2 und 2003 110.8; 1- 50'400 / [4483 x 12 x 41.7/40 x 110.8/110.2]) und damit das Invalideneinkommen entsprechend der von der Vorinstanz gewählten Berechnungsweise bei Fr. 32'568.85 (branchenübergreifende durchschnittliche Nominallohnindexentwicklung: von 111.5 auf 113.1; 4557.- x 12 x 41.7/40 x 113.1/111.5 x 0.894 x 0.7 x 0.9).
Die Vorbringen in der Verwaltungsgerichtsbeschwerde vermögen dieses Ergebnis nicht in Frage zu stellen: Weil dem Versicherten der gesamte Arbeitsmarkt offen steht, muss er sich - der Schadenminderung verpflichtet - den entsprechenden hypothetischen Verdienst anrechnen lassen. Auch sind keine hinreichenden Gründe für einen höheren leidensbedingten Abzug ersichtlich. Zu beachten ist sodann, dass die Vorinstanz vom Durchschnittslohn nicht nur einen Leidensabzug von 10 % gewährt, sondern darüber hinaus die Gründe für den unter dem Branchenschnitt liegenden Lohn als Gesunder gänzlich invaliditätsfremden Faktoren zugeordnet hat, die es beim Invalideneinkommen mit dem Abzug von (weiteren) 10,6 % vollumfänglich berücksichtigte.
2.3 Die Gegenüberstellung des Valideneinkommens von Fr. 50'400.- für das Jahr 2003 und des hypothetischen Verdienstes mit Gesundheitsschaden von Fr. 32'568.85 ergibt den Invaliditätsgrad von rund 35,4 %. Zur Rentenbegründung bedarf es mindestens eines solchen von 40 % (Art. 28 Abs. 1 IVG), womit der vorinstanzliche Entscheid rechtens ist.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz, der Ausgleichskasse Schwyz und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 19. Juli 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: