Sachverhalt:
Sachverhalt:
A. B._, geboren 1968, hat eine Lehre an der Landwirtschaftsschule P._ absolviert und im elterlichen Landwirtschaftsbetrieb mitgearbeitet. Auf den 1. Januar 1995 übernahm er den Betrieb als selbstständiger Landwirt. Seit Herbst 1994 leidet er an Rückenbeschwerden. Wegen einer Diskushernie L4/5 musste er sich im Dezember 1994 einer Nukleotomie unterziehen. Im September 1995 erfolgte in der Klinik Z._ eine Hemilaminektomie L4/5 links und im März 2002 eine Re-Hemilaminektomie mit mehrfragmentärer Sequestrektomie sowie eine Re-Nukleotomie L4/5. Schliesslich kam es wegen eines Rezidivs am 28. Juni 2002 zu einer weiteren Operation mit Revision L4/5 links. Auf eine erste Anmeldung vom 27. März 1995 übernahm die IV-Stelle Schwyz die Kosten von drei luftgefederten Sitzen für landwirtschaftliche Fahrzeuge im Betrag von Fr. 6'440.-. Am 17. Juni 2002 meldete sich B._ mit dem Begehren um Berufsberatung erneut zum Leistungsbezug bei der Invalidenversicherung an. Die IV-Stelle holte Arztberichte sowie den Fragebogen für Landwirte ein und beauftragte die Beratungsstelle der Landwirtschaftsschule P._ mit einer Abklärung. Im Hinblick auf einen allfälligen Rentenanspruch führte sie durch ihren Abklärungsdienst Erhebungen auf dem Landwirtschaftsbetrieb durch. Nach Einforderung weiterer Arztberichte erliess sie am 11. Juli 2003 eine Verfügung, mit der sie dem Versicherten eröffnete, dass der Invaliditätsgrad 32% betrage, weshalb kein Anspruch auf eine Invalidenrente bestehe. Die dagegen erhobene Einsprache wies sie mit Entscheid vom 24. März 2004 ab, wobei sie den Invaliditätsgrad neu mit 34% bezifferte.
A. B._, geboren 1968, hat eine Lehre an der Landwirtschaftsschule P._ absolviert und im elterlichen Landwirtschaftsbetrieb mitgearbeitet. Auf den 1. Januar 1995 übernahm er den Betrieb als selbstständiger Landwirt. Seit Herbst 1994 leidet er an Rückenbeschwerden. Wegen einer Diskushernie L4/5 musste er sich im Dezember 1994 einer Nukleotomie unterziehen. Im September 1995 erfolgte in der Klinik Z._ eine Hemilaminektomie L4/5 links und im März 2002 eine Re-Hemilaminektomie mit mehrfragmentärer Sequestrektomie sowie eine Re-Nukleotomie L4/5. Schliesslich kam es wegen eines Rezidivs am 28. Juni 2002 zu einer weiteren Operation mit Revision L4/5 links. Auf eine erste Anmeldung vom 27. März 1995 übernahm die IV-Stelle Schwyz die Kosten von drei luftgefederten Sitzen für landwirtschaftliche Fahrzeuge im Betrag von Fr. 6'440.-. Am 17. Juni 2002 meldete sich B._ mit dem Begehren um Berufsberatung erneut zum Leistungsbezug bei der Invalidenversicherung an. Die IV-Stelle holte Arztberichte sowie den Fragebogen für Landwirte ein und beauftragte die Beratungsstelle der Landwirtschaftsschule P._ mit einer Abklärung. Im Hinblick auf einen allfälligen Rentenanspruch führte sie durch ihren Abklärungsdienst Erhebungen auf dem Landwirtschaftsbetrieb durch. Nach Einforderung weiterer Arztberichte erliess sie am 11. Juli 2003 eine Verfügung, mit der sie dem Versicherten eröffnete, dass der Invaliditätsgrad 32% betrage, weshalb kein Anspruch auf eine Invalidenrente bestehe. Die dagegen erhobene Einsprache wies sie mit Entscheid vom 24. März 2004 ab, wobei sie den Invaliditätsgrad neu mit 34% bezifferte.
B. Beschwerdeweise beantragte B._, es sei ihm mindestens eine Viertelsrente oder eine halbe Rente zuzusprechen; eventuell sei die Sache zur Neubeurteilung an die Verwaltung zurückzuweisen. Mit Entscheid vom 16. Juni 2004 hiess das Verwaltungsgericht des Kantons Schwyz die Beschwerde insoweit gut, als es den Einspracheentscheid vom 24. März 2004 aufhob, den Invaliditätsgrad auf 47% festsetzte und die Sache zur Festsetzung des Rentenbeginns und zur Prüfung der Frage, ob ein Härtefall vorliege, an die Verwaltung zurückwies.
B. Beschwerdeweise beantragte B._, es sei ihm mindestens eine Viertelsrente oder eine halbe Rente zuzusprechen; eventuell sei die Sache zur Neubeurteilung an die Verwaltung zurückzuweisen. Mit Entscheid vom 16. Juni 2004 hiess das Verwaltungsgericht des Kantons Schwyz die Beschwerde insoweit gut, als es den Einspracheentscheid vom 24. März 2004 aufhob, den Invaliditätsgrad auf 47% festsetzte und die Sache zur Festsetzung des Rentenbeginns und zur Prüfung der Frage, ob ein Härtefall vorliege, an die Verwaltung zurückwies.
C. Die IV-Stelle Schwyz führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, der angefochtene Entscheid sei aufzuheben und es sei der Einspracheentscheid vom 24. März 2004 wiederherzustellen; eventuell sei die Sache an die Verwaltung zurückzuweisen, damit sie unter Berücksichtigung der familiären Verhältnisse prüfe, ob dem Versicherten die Aufgabe des Landwirtschaftsbetriebes zumutbar sei, und darüber neu verfüge.
Der Beschwerdegegner und die Vorinstanz lassen sich mit dem Antrag auf Abweisung der Verwaltungsgerichtsbeschwerde vernehmen. Das Bundesamt für Sozialversicherung verzichtet auf Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Bei der Prüfung eines allfälligen schon vor dem Inkrafttreten des Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 auf den 1. Januar 2003 entstandenen Anspruchs auf eine Rente der Invalidenversicherung sind die allgemeinen intertemporalrechtlichen Regeln heranzuziehen, wonach in zeitlicher Hinsicht diejenigen Rechtssätze massgebend sind, die bei Verwirklichung des zu Rechtsfolgen führenden Sachverhalts galten. Demzufolge ist der Rentenanspruch für die Zeit bis zum 31. Dezember 2002 aufgrund der bisherigen und ab diesem Zeitpunkt nach den neuen Normen zu prüfen (<ref-ruling> Erw. 1 mit Hinweisen; vgl. auch <ref-ruling>). Der gleiche intertemporalrechtliche Grundsatz gilt bezüglich der auf den 1. Januar 2004 geänderten Rentenabstufung in der Invalidenversicherung (<ref-law> in der Fassung gemäss Ziff. 1 des Bundesgesetzes vom 21. März 2003, 4. IV-Revision). Zu beachten sind indessen die Regeln über die Besitzstandswahrung gemäss lit. d - f der Schlussbestimmungen zur Gesetzesrevision.
1. Bei der Prüfung eines allfälligen schon vor dem Inkrafttreten des Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 auf den 1. Januar 2003 entstandenen Anspruchs auf eine Rente der Invalidenversicherung sind die allgemeinen intertemporalrechtlichen Regeln heranzuziehen, wonach in zeitlicher Hinsicht diejenigen Rechtssätze massgebend sind, die bei Verwirklichung des zu Rechtsfolgen führenden Sachverhalts galten. Demzufolge ist der Rentenanspruch für die Zeit bis zum 31. Dezember 2002 aufgrund der bisherigen und ab diesem Zeitpunkt nach den neuen Normen zu prüfen (<ref-ruling> Erw. 1 mit Hinweisen; vgl. auch <ref-ruling>). Der gleiche intertemporalrechtliche Grundsatz gilt bezüglich der auf den 1. Januar 2004 geänderten Rentenabstufung in der Invalidenversicherung (<ref-law> in der Fassung gemäss Ziff. 1 des Bundesgesetzes vom 21. März 2003, 4. IV-Revision). Zu beachten sind indessen die Regeln über die Besitzstandswahrung gemäss lit. d - f der Schlussbestimmungen zur Gesetzesrevision.
2. Im Einspracheentscheid vom 24. März 2004 hat die IV-Stelle den für den Rentenanspruch massgebenden Invaliditätsgrad auf 34% festgesetzt. Dabei ging sie aufgrund des landwirtschaftlichen Abklärungsberichtes von einem Valideneinkommen von Fr. 74'796.- aus, bestehend aus einem landwirtschaftlichen Einkommen von Fr. 59'796.- und einem Ertrag aus nebenerwerblicher Holzertätigkeit von Fr. 15'000.-. Das Invalideneinkommen ermittelte sie mit Fr. 49'443.-, wobei sie zum landwirtschaftlichen Einkommen von noch Fr. 39'410.- ein Einkommen von Fr. 10'033.- addierte, welches der Versicherte mit einer körperlich leichten Tätigkeit zu erzielen vermöchte. Die Vorinstanz gelangte zum Schluss, die Holzerarbeiten bildeten Bestandteil der landwirtschaftlichen Tätigkeit und gäben keinen Anlass zur Anrechnung eines hypothetischen Nebeneinkommens, weshalb dem Valideneinkommen von Fr. 74'796.- ein Invalideneinkommen von Fr. 39'410.- gegenüberzustellen sei, was zu einem Invaliditätsgrad von 47% führe. In der Verwaltungsgerichtsbeschwerde bestreitet die IV-Stelle nicht, dass es sich bei der Arbeit als Holzer um einen Bestandteil der landwirtschaftlichen Tätigkeit - und nicht um einen selbstständigen Nebenerwerb - handelt. Sie macht indessen geltend, dem Beschwerdegegner sei anstelle der nicht mehr möglichen Holzertätigkeit die Ausübung einer zusätzlichen nichtlandwirtschaftlichen Tätigkeit zumutbar, womit er insgesamt ein rentenausschliessendes Einkommen zu erzielen vermöchte.
2.1 Dem landwirtschaftlichen Abklärungsbericht ist zu entnehmen, dass der Beschwerdegegner ohne den Gesundheitsschaden bei angenommenen 3'000 jährlichen Arbeitsstunden 2'499 Stunden für die Landwirtschaft und 501 Stunden für die übrige Tätigkeit, d.h. für die Holzerarbeiten verwendet hätte. Am gesamten Erwerbseinkommen von Fr. 74'796.- ist das Einkommen aus der Holzertätigkeit laut Abklärungsbericht mit Fr. 15'000.- beteiligt. Aufgrund dieser von keiner Seite bestrittenen Angaben ist davon auszugehen, dass den Holzerarbeiten im Rahmen des gesamten landwirtschaftlichen Tätigkeitsbereichs und des damit erzielten Einkommens eine wesentliche Bedeutung zukam. Es stellt sich daher die Frage, ob der Beschwerdegegner anstelle der nicht mehr möglichen Holzerarbeiten zumutbarerweise eine geeignete andere Tätigkeit ausüben könnte. Hiefür spricht, dass ihm gemäss Bericht des behandelnden Arztes Dr. med. M._ vom 17. Juni 2003 die Ausübung einer körperlich leichten, wechselbelastenden Tätigkeit ohne wesentliche Einschränkungen zumutbar wäre. Die Formulierung ("eventuell zu 100%") lässt allerdings darauf schliessen, dass eine volle Arbeitsfähigkeit nur unter optimalen Umständen erreicht würde. Zudem spricht sich der Arzt nicht dazu aus, ob dem Versicherten nebst der eigentlichen Landwirtschaftstätigkeit, für welche ihm eine Arbeitsfähigkeit von 50% attestiert wird, eine nichtlandwirtschaftliche Beschäftigung im Umfang von rund 500 jährlichen Arbeitsstunden zumutbar wäre. Der Beschwerdegegner bestreitet dies mit der Begründung, es fehle an einer entsprechenden "Zeitreserve", weil er grundsätzlich mit einer vollen zeitlichen Präsenz arbeite, sich dabei aber schonen und immer wieder Erholungsphasen einschalten müsse; zudem sei der Betrieb (einschliesslich Alpbetrieb) von einer Grösse (20 + 23 ha), welche eine praktisch dauernde Präsenz des Betriebsinhabers erfordere. Wie es sich hinsichtlich dieser Einwendungen verhält, lässt sich aufgrund der Akten nicht zuverlässig beurteilen, kann jedoch dahingestellt bleiben. Selbst wenn von einer "Zeitreserve" von rund 500 Arbeitsstunden auszugehen wäre und die Ausübung einer zusätzlichen Erwerbstätigkeit aus medizinischer Sicht zumutbar sein sollte, bestehen erhebliche Zweifel, ob eine Verwertung der Restarbeitsfähigkeit auf dem allgemeinen Arbeitsmarkt möglich wäre. Zu beachten ist, dass die für die Ausübung einer ergänzenden Tätigkeit verbleibende Zeit weniger als 20% der üblichen Arbeitszeit ausmacht und zudem nicht kontinuierlich zur Verfügung steht, weil die nicht mehr zumutbaren Holzerarbeiten unregelmässig anfallen. Wird zusätzlich in Rechnung gestellt, dass der Beschwerdegegner in U._ wohnt und die Ausübung einer nichtlandwirtschaftlichen Tätigkeit wahrscheinlich mit einem längeren Arbeitsweg verbunden wäre, erscheint eine Verwertung der Restarbeitsfähigkeit in einer zumutbaren unselbstständigen Erwerbstätigkeit praktisch als ausgeschlossen. Der Vorinstanz ist daher darin beizupflichten, dass von der Anrechnung eines entsprechenden hypothetischen Einkommens abzusehen ist.
2.1 Dem landwirtschaftlichen Abklärungsbericht ist zu entnehmen, dass der Beschwerdegegner ohne den Gesundheitsschaden bei angenommenen 3'000 jährlichen Arbeitsstunden 2'499 Stunden für die Landwirtschaft und 501 Stunden für die übrige Tätigkeit, d.h. für die Holzerarbeiten verwendet hätte. Am gesamten Erwerbseinkommen von Fr. 74'796.- ist das Einkommen aus der Holzertätigkeit laut Abklärungsbericht mit Fr. 15'000.- beteiligt. Aufgrund dieser von keiner Seite bestrittenen Angaben ist davon auszugehen, dass den Holzerarbeiten im Rahmen des gesamten landwirtschaftlichen Tätigkeitsbereichs und des damit erzielten Einkommens eine wesentliche Bedeutung zukam. Es stellt sich daher die Frage, ob der Beschwerdegegner anstelle der nicht mehr möglichen Holzerarbeiten zumutbarerweise eine geeignete andere Tätigkeit ausüben könnte. Hiefür spricht, dass ihm gemäss Bericht des behandelnden Arztes Dr. med. M._ vom 17. Juni 2003 die Ausübung einer körperlich leichten, wechselbelastenden Tätigkeit ohne wesentliche Einschränkungen zumutbar wäre. Die Formulierung ("eventuell zu 100%") lässt allerdings darauf schliessen, dass eine volle Arbeitsfähigkeit nur unter optimalen Umständen erreicht würde. Zudem spricht sich der Arzt nicht dazu aus, ob dem Versicherten nebst der eigentlichen Landwirtschaftstätigkeit, für welche ihm eine Arbeitsfähigkeit von 50% attestiert wird, eine nichtlandwirtschaftliche Beschäftigung im Umfang von rund 500 jährlichen Arbeitsstunden zumutbar wäre. Der Beschwerdegegner bestreitet dies mit der Begründung, es fehle an einer entsprechenden "Zeitreserve", weil er grundsätzlich mit einer vollen zeitlichen Präsenz arbeite, sich dabei aber schonen und immer wieder Erholungsphasen einschalten müsse; zudem sei der Betrieb (einschliesslich Alpbetrieb) von einer Grösse (20 + 23 ha), welche eine praktisch dauernde Präsenz des Betriebsinhabers erfordere. Wie es sich hinsichtlich dieser Einwendungen verhält, lässt sich aufgrund der Akten nicht zuverlässig beurteilen, kann jedoch dahingestellt bleiben. Selbst wenn von einer "Zeitreserve" von rund 500 Arbeitsstunden auszugehen wäre und die Ausübung einer zusätzlichen Erwerbstätigkeit aus medizinischer Sicht zumutbar sein sollte, bestehen erhebliche Zweifel, ob eine Verwertung der Restarbeitsfähigkeit auf dem allgemeinen Arbeitsmarkt möglich wäre. Zu beachten ist, dass die für die Ausübung einer ergänzenden Tätigkeit verbleibende Zeit weniger als 20% der üblichen Arbeitszeit ausmacht und zudem nicht kontinuierlich zur Verfügung steht, weil die nicht mehr zumutbaren Holzerarbeiten unregelmässig anfallen. Wird zusätzlich in Rechnung gestellt, dass der Beschwerdegegner in U._ wohnt und die Ausübung einer nichtlandwirtschaftlichen Tätigkeit wahrscheinlich mit einem längeren Arbeitsweg verbunden wäre, erscheint eine Verwertung der Restarbeitsfähigkeit in einer zumutbaren unselbstständigen Erwerbstätigkeit praktisch als ausgeschlossen. Der Vorinstanz ist daher darin beizupflichten, dass von der Anrechnung eines entsprechenden hypothetischen Einkommens abzusehen ist.
3. 3.1 In der Verwaltungsgerichtsbeschwerde stellt sich die IV-Stelle neu auf den Standpunkt, der Versicherte könne anstelle der Tätigkeit als selbstständiger Landwirt, in der er noch zu 50% arbeitsfähig sei, eine der Behinderung angepasste unselbstständige Tätigkeit ausüben, welche ihm zu 100% zumutbar wäre. Ein solcher Berufswechsel sei ihm unter Berücksichtigung der subjektiven und objektiven Umstände und insbesondere im Hinblick darauf, dass er - bezogen auf den Einspracheentscheid - erst 35 Jahre alt sei, zumutbar. Mit einer geeigneten unselbstständigen Tätigkeit vermöchte er ein rentenausschliessendes Erwerbseinkommen zu erzielen, weshalb der Einspracheentscheid vom 24. März 2004 zu bestätigen sei.
3.2 Wie das Eidgenössische Versicherungsgericht wiederholt festgestellt hat, folgt aus der sozialversicherungsrechtlichen Schadenminderungspflicht (<ref-ruling> Erw. 3c mit Hinweisen), dass eine versicherte Person unter Umständen so zu behandeln ist, wie wenn sie ihre Tätigkeit als Selbstständigerwerbende aufgäbe; d.h. sie hat sich im Rahmen der Invaliditätsbemessung jene Einkünfte anrechnen zu lassen, welche sie bei Aufnahme einer leidensangepassten unselbstständigen Erwerbstätigkeit zumutbarerweise verdienen könnte. Bei der Frage nach der Zumutbarkeit einer Aufgabe der selbstständigen Erwerbstätigkeit sind praxisgemäss die gesamten subjektiven und objektiven Gegebenheiten des Einzelfalles zu berücksichtigen. Im Vordergrund stehen bei den subjektiven Umständen die verbliebene Leistungsfähigkeit sowie die weiteren persönlichen Verhältnisse, wie das Alter, die berufliche Stellung und die Verwurzelung am Wohnort. Bei den objektiven Umständen sind insbesondere der ausgeglichene Arbeitsmarkt und die noch zu erwartende Aktivitätsdauer massgeblich (AHI 2001 S. 283 Erw. 5a/bb mit Hinweisen). Im vorliegenden Fall sprechen insbesondere das noch jugendliche Alter des Beschwerdegegners, die zu erwartende lange Aktivitätsdauer sowie der Umstand, dass er als selbstständiger Landwirt noch zu 50%, in einer angepassten unselbstständigen Erwerbstätigkeit aber zu 100% arbeitsfähig ist, für die Zumutbarkeit eines Berufswechsels. Einen solchen hat der Beschwerdegegner denn auch in Betracht gezogen, ersuchte er in der Neuanmeldung vom 17. Juni 2002 doch um Berufsberatung, nicht um Zusprechung einer Rente, und hielt ergänzend fest, er müsse sich demnächst einer vierten Rückenoperation unterziehen und es sei noch ungewiss, ob er den Beruf als Landwirt weiter ausüben könne. Dessen ungeachtet hat die IV-Stelle die Frage der beruflichen Eingliederung nicht näher geprüft und das Leistungsbegehren ausschliesslich unter dem Aspekt des Rentenanspruchs beurteilt. Sie ist damit selbst davon ausgegangen, dass der Beschwerdegegner - unter Berücksichtigung der vorgenommenen betrieblichen Umstellungen und der ihm abgegebenen Hilfsmittel - als selbstständiger Landwirt hinreichend eingegliedert ist. Wenn sie nachträglich zu einem andern Schluss gelangt, so lässt sich damit eine rückwirkende Ablehnung des Rentenanspruchs nicht begründen, zumal dem Beschwerdegegner für einen allfälligen Berufswechsel eine angemessene Übergangszeit einzuräumen ist. Was in der Verwaltungsgerichtsbeschwerde vorgebracht wird, ist daher nicht geeignet, zu einer Aufhebung des vorinstanzlichen Entscheids zu führen. Der IV-Stelle bleibt es jedoch unbenommen, die Eingliederungsfrage für die Zukunft neu zu prüfen. Des Weiteren wird sie festzustellen haben, ob in der Zeit nach Erlass des Einspracheentscheids vom 24. März 2004 eine anspruchsbeeinflussende Änderung der Arbeits- bzw. Erwerbsfähigkeit eingetreten ist. Laut Bericht des Dr. med. M._ vom 20. Dezember 2002 kam es nach der letzten Operation vom 28. Juni 2002 zu einer Besserung der klinischen Symptomatik, und es ist nicht auszuschliessen, dass sich der Gesundheitszustand in der Folge weiter gebessert hat. Wie es sich damit verhält, wird von der Verwaltung im Rahmen eines Rentenrevisionsverfahrens (<ref-law>) zu prüfen sein.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird im Sinne der Erwägungen abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird im Sinne der Erwägungen abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Die IV-Stelle Schwyz hat dem Beschwerdegegner für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 1500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
3. Die IV-Stelle Schwyz hat dem Beschwerdegegner für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 1500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 14. März 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: