Sachverhalt:
Sachverhalt:
A. Der 1947 geborene P._ hat nach dem Besuch der Sekundarschule die Ausbildung zum Bäcker-Konditor absolviert und mit dem Meistertitel abgeschlossen. Er führt seit Jahrzehnten als Selbstständigerwerbender mit seiner Ehefrau eine Bäckerei-Konditorei in dörflicher Umgebung. Im Oktober 2002 meldete sich P._ unter Hinweis namentlich auf eine Herzerkrankung sowie im Jahr 2002 verstärkt aufgetretene gesundheitliche Probleme aufgrund einer Weizenmehlallergie für berufliche Massnahmen und eine Rente bei der Invalidenversicherung an. Die IV-Stelle des Kantons Solothurn holte Berichte der behandelnden Ärzte ein und traf erwerbliche Abklärungen. Mit Verfügung vom 22. November 2002 sprach sie dem Versicherten Beratung und Unterstützung bei der Stellensuche zu. P._ erklärte, davon keinen Gebrauch machen zu wollen. Er lehnte auch das Angebot der Verwaltung, ihm für die Beschaffung einer Kühlanlage im Betrieb eine Kapitalhilfe zu gewähren, ab und bestand auf der Zusprechung einer Invalidenrente. Mit Verfügung vom 12. April 2004 verneinte die IV-Stelle einen Anspruch auf berufliche Massnahmen, da der Versicherte dabei nicht mitwirken wolle, und auf eine Invalidenrente mangels eines anspruchsbegründenden Invaliditätsgrades. Die auf Zusprechung einer Invalidenrente gerichtete Einsprache wies die Verwaltung ab (Einspracheentscheid vom 20. Mai 2005).
A. Der 1947 geborene P._ hat nach dem Besuch der Sekundarschule die Ausbildung zum Bäcker-Konditor absolviert und mit dem Meistertitel abgeschlossen. Er führt seit Jahrzehnten als Selbstständigerwerbender mit seiner Ehefrau eine Bäckerei-Konditorei in dörflicher Umgebung. Im Oktober 2002 meldete sich P._ unter Hinweis namentlich auf eine Herzerkrankung sowie im Jahr 2002 verstärkt aufgetretene gesundheitliche Probleme aufgrund einer Weizenmehlallergie für berufliche Massnahmen und eine Rente bei der Invalidenversicherung an. Die IV-Stelle des Kantons Solothurn holte Berichte der behandelnden Ärzte ein und traf erwerbliche Abklärungen. Mit Verfügung vom 22. November 2002 sprach sie dem Versicherten Beratung und Unterstützung bei der Stellensuche zu. P._ erklärte, davon keinen Gebrauch machen zu wollen. Er lehnte auch das Angebot der Verwaltung, ihm für die Beschaffung einer Kühlanlage im Betrieb eine Kapitalhilfe zu gewähren, ab und bestand auf der Zusprechung einer Invalidenrente. Mit Verfügung vom 12. April 2004 verneinte die IV-Stelle einen Anspruch auf berufliche Massnahmen, da der Versicherte dabei nicht mitwirken wolle, und auf eine Invalidenrente mangels eines anspruchsbegründenden Invaliditätsgrades. Die auf Zusprechung einer Invalidenrente gerichtete Einsprache wies die Verwaltung ab (Einspracheentscheid vom 20. Mai 2005).
B. Beschwerdeweise beantragte P._ zur Hauptsache, es sei mit Wirkung ab Gesuchseinreichung eine halbe Invalidenrente zuzusprechen. Das Versicherungsgericht des Kantons Solothurn wies die Beschwerde mit Entscheid vom 2. Februar 2006 ab.
B. Beschwerdeweise beantragte P._ zur Hauptsache, es sei mit Wirkung ab Gesuchseinreichung eine halbe Invalidenrente zuzusprechen. Das Versicherungsgericht des Kantons Solothurn wies die Beschwerde mit Entscheid vom 2. Februar 2006 ab.
C. P._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, es sei der vorinstanzliche Entscheid aufzuheben und die Sache zur ergänzenden Abklärung und neuen Beurteilung an die Verwaltung zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. 1.1 Am 1. Januar 2007 ist das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) in Kraft getreten (AS 2006 1205, 1243). Der angefochtene Entscheid ist indessen vorher ergangen, weshalb sich das Verfahren noch nach dem Bundesgesetz über die Organisation der Bundesrechtspflege vom 16. Dezember 1943 (OG) richtet (<ref-law>; <ref-ruling> E. 1.2 S. 395).
1.2 Da die Verwaltungsgerichtsbeschwerde am 1. Juli 2006 bereits hängig war, sind auch die auf diesen Zeitpunkt in Kraft getretenen, für Streitigkeiten um Leistungen der Invalidenversicherung geltenden Anpassungen von Art. 132 und Art. 134 OG gemäss Ziff. III des Bundesgesetzes vom 16. Dezember 2005 über die Änderung des IVG nicht anwendbar. Die Beurteilung hat daher mit voller Kognition zu erfolgen und das Verfahren ist kostenfrei (Art. 132 und Art. 134 OG je in der massgebenden, bis 30. Juni 2006 in Kraft gestandenen Fassung).
1.2 Da die Verwaltungsgerichtsbeschwerde am 1. Juli 2006 bereits hängig war, sind auch die auf diesen Zeitpunkt in Kraft getretenen, für Streitigkeiten um Leistungen der Invalidenversicherung geltenden Anpassungen von Art. 132 und Art. 134 OG gemäss Ziff. III des Bundesgesetzes vom 16. Dezember 2005 über die Änderung des IVG nicht anwendbar. Die Beurteilung hat daher mit voller Kognition zu erfolgen und das Verfahren ist kostenfrei (Art. 132 und Art. 134 OG je in der massgebenden, bis 30. Juni 2006 in Kraft gestandenen Fassung).
2. Streitig und zu prüfen ist der Anspruch auf Invalidenrente.
Im angefochtenen Entscheid sind die Bestimmungen über den Begriff und den Eintritt der Invalidität (<ref-law>; <ref-law>), die Voraussetzungen und den Umfang des Anspruchs auf eine Rente der Invalidenversicherung (Art. 28 Abs. 1 [in den vor und ab 2004 geltenden Fassungen]) und den Rentenbeginn (<ref-law>) zutreffend dargelegt. Richtig sind auch die Erwägungen über die Invaliditätsbemessung bei Erwerbstätigen mittels Einkommensvergleich (<ref-law>), gegebenenfalls unter Verwendung von Tabellenlöhnen (vgl. <ref-ruling> E. 3b/bb S. 76 f.), und bei nicht zuverlässig ermittel- oder schätzbaren hypothetischen Erwerbseinkommen nach dem ausserordentlichen Bemessungsverfahren auf Grund eines im Hinblick auf die konkrete betriebliche Situation erwerblich gewichteten Betätigungsvergleichs (<ref-ruling> E. 1 S. 30 f. mit Hinweisen). Darauf wird verwiesen.
Im angefochtenen Entscheid sind die Bestimmungen über den Begriff und den Eintritt der Invalidität (<ref-law>; <ref-law>), die Voraussetzungen und den Umfang des Anspruchs auf eine Rente der Invalidenversicherung (Art. 28 Abs. 1 [in den vor und ab 2004 geltenden Fassungen]) und den Rentenbeginn (<ref-law>) zutreffend dargelegt. Richtig sind auch die Erwägungen über die Invaliditätsbemessung bei Erwerbstätigen mittels Einkommensvergleich (<ref-law>), gegebenenfalls unter Verwendung von Tabellenlöhnen (vgl. <ref-ruling> E. 3b/bb S. 76 f.), und bei nicht zuverlässig ermittel- oder schätzbaren hypothetischen Erwerbseinkommen nach dem ausserordentlichen Bemessungsverfahren auf Grund eines im Hinblick auf die konkrete betriebliche Situation erwerblich gewichteten Betätigungsvergleichs (<ref-ruling> E. 1 S. 30 f. mit Hinweisen). Darauf wird verwiesen.
3. In medizinischer Hinsicht steht nach Lage der Akten fest und ist unbestritten, dass die Herzerkrankung (bei Status nach Myokardinfarkt im März 1998) den Versicherten nicht (mehr) in der Arbeitsfähigkeit einschränkt und bei der Invaliditätsbemessung ausser Acht zu lassen ist.
Gemäss den Berichten des Hausarztes Dr. med. W._, Allgemeine Medizin FMH, und des Dr. med. S._, Facharzt FMH für Lungenkrankheiten und Innere Medizin, leidet der Versicherte sodann an einer ab dem Jahr 2002 verstärkt aufgetretenen Bäckerrhinitis und -Asthma bronchiale bei kutaner Sensibilisierung auf Weizenmehl und leichter bronchialer Hyperaktivität sowie an einem Bäckerekzem. Laut Dr. med. W._ führte diese gesundheitliche Problematik zu einer Arbeitsunfähigkeit als Bäcker-Konditor von 66 2/3 % ab 12. August 2002 (Berichte vom 25. Oktober und 13. Dezember 2002 sowie 8. Mai 2003) und 60 % ab 14. August 2004 (Bericht vom 30. November 2004). In seiner aktuellsten Stellungnahme vom Juni 2005 äussert sich Dr. med. W._ dahingehend, dass die Tätigkeit eines Bäckers zu 50 % zumutbar ist, wenn eine Feinstaubmaske und Schutzhandschuhe getragen werden. Für Arbeiten mit Mehl empfiehlt auch Dr. med. S._ einen konsequenten Atemschutz mit einer Feinstaubmaske P2 sowie die Verwendung von Schutzhandschuhen (Bericht vom 30. August 2002). In der Tätigkeit eines Konditors und bei Büroarbeiten besteht aus ärztlicher Sicht keine gesundheitsbedingte Einschränkung.
Gemäss den Berichten des Hausarztes Dr. med. W._, Allgemeine Medizin FMH, und des Dr. med. S._, Facharzt FMH für Lungenkrankheiten und Innere Medizin, leidet der Versicherte sodann an einer ab dem Jahr 2002 verstärkt aufgetretenen Bäckerrhinitis und -Asthma bronchiale bei kutaner Sensibilisierung auf Weizenmehl und leichter bronchialer Hyperaktivität sowie an einem Bäckerekzem. Laut Dr. med. W._ führte diese gesundheitliche Problematik zu einer Arbeitsunfähigkeit als Bäcker-Konditor von 66 2/3 % ab 12. August 2002 (Berichte vom 25. Oktober und 13. Dezember 2002 sowie 8. Mai 2003) und 60 % ab 14. August 2004 (Bericht vom 30. November 2004). In seiner aktuellsten Stellungnahme vom Juni 2005 äussert sich Dr. med. W._ dahingehend, dass die Tätigkeit eines Bäckers zu 50 % zumutbar ist, wenn eine Feinstaubmaske und Schutzhandschuhe getragen werden. Für Arbeiten mit Mehl empfiehlt auch Dr. med. S._ einen konsequenten Atemschutz mit einer Feinstaubmaske P2 sowie die Verwendung von Schutzhandschuhen (Bericht vom 30. August 2002). In der Tätigkeit eines Konditors und bei Büroarbeiten besteht aus ärztlicher Sicht keine gesundheitsbedingte Einschränkung.
4. Das kantonale Gericht hat erwogen, mittels einer betrieblichen Umstellung und dem konsequenten Tragen von Feinstaubmaske sowie Schutzhandschuhen sei eine volle Arbeitsfähigkeit auch in der Tätigkeit eines Bäckers zu erreichen. Diese Massnahmen seien zumutbar und dürften vom Versicherten im Rahmen der Schadenminderungspflicht erwartet werden. Indem er dies nicht tue, schöpfe er seine Arbeitsfähigkeit als Selbstständigerwerbender nicht in zumutbarer Weise voll aus.
Die Vorinstanz hat sodann wie bereits die IV-Stelle einen Einkommensvergleich durchgeführt. Gestützt auf die der Nominallohnentwicklung angepassten Geschäftsergebnisse der Jahre 1993-1997 ging sie davon aus, dass das im Jahr 2003 (Beginn eines allfälligen Rentenanspruches als massgeblicher Zeitpunkt für den Einkommensvergleich) ohne invalidisierende Gesundheitsschädigung mutmasslich erzielte Einkommen (Valideneinkommen) mutmasslich Fr. 90'428.- betragen hätte. Weiter erwog sie, das im Jahr 2003 trotz gesundheitlicher Beeinträchtigung zumutbarerweise noch erzielbare Einkommen (Invalideneinkommen) sei anhand der statistischen Durchschnittslöhne gemäss der vom Bundesamt für Statistik herausgegebenen Schweizerischen Lohnstrukturerhebung (LSE) zu bestimmen und betrage unter Berücksichtigung eines leidensbedingten Abzuges von 10 % Fr. 61'282.-. Die Gegenüberstellung mit dem Valideneinkommen von Fr. 90'428.- ergibt eine Erwerbseinbusse von Fr. 29'146.-. Dies entspricht (gerundet) einem Invaliditätsgrad von 32 %.
Zur Plausibilitätskontrolle hat die Vorinstanz auch den gemäss Regulativ des Berufsverbandes üblichen Lohn qualifizierter Bäckermeister im Jahr 2003 herangezogen und davon ebenfalls einen leidensbedingten Abzug von 10 % vorgenommen. Der Vergleich der resultierenden Fr. 62'183.- mit dem Valideneinkommen von Fr. 90'428.- ergibt einen Minderverdienst von Fr. 28'245.-, entsprechend (gerundet) 31 %. Bei beiden Vorgehensweisen wird der für eine Invalidenrente mindestens vorausgesetzte Invaliditätsgrad von 40 % (<ref-law>) nicht erreicht.
Zur Plausibilitätskontrolle hat die Vorinstanz auch den gemäss Regulativ des Berufsverbandes üblichen Lohn qualifizierter Bäckermeister im Jahr 2003 herangezogen und davon ebenfalls einen leidensbedingten Abzug von 10 % vorgenommen. Der Vergleich der resultierenden Fr. 62'183.- mit dem Valideneinkommen von Fr. 90'428.- ergibt einen Minderverdienst von Fr. 28'245.-, entsprechend (gerundet) 31 %. Bei beiden Vorgehensweisen wird der für eine Invalidenrente mindestens vorausgesetzte Invaliditätsgrad von 40 % (<ref-law>) nicht erreicht.
5. Der Beschwerdeführer vertritt die Auffassung, die von ihm erwarteten Massnahmen im Betrieb seien unzumutbar und führten auch nicht zu einer relevant besseren Arbeits- und Erwerbsfähigkeit bei der Bäckertätigkeit. Sodann habe die Invaliditätsbemessung nach der ausserordentlichen Methode im Rahmen der konkreten betrieblichen Verhältnisse zu erfolgen. Die Durchführung eines Einkommensvergleichs gestützt auf Tabellenlöhne beruhe auf der Überlegung, dass der eigene Betrieb aufzugeben sei. Dies sei nicht zumutbar. Gerügt wird überdies das Vorgehen der Vorinstanz bei der Bestimmung des Invalideneinkommens.
5. Der Beschwerdeführer vertritt die Auffassung, die von ihm erwarteten Massnahmen im Betrieb seien unzumutbar und führten auch nicht zu einer relevant besseren Arbeits- und Erwerbsfähigkeit bei der Bäckertätigkeit. Sodann habe die Invaliditätsbemessung nach der ausserordentlichen Methode im Rahmen der konkreten betrieblichen Verhältnisse zu erfolgen. Die Durchführung eines Einkommensvergleichs gestützt auf Tabellenlöhne beruhe auf der Überlegung, dass der eigene Betrieb aufzugeben sei. Dies sei nicht zumutbar. Gerügt wird überdies das Vorgehen der Vorinstanz bei der Bestimmung des Invalideneinkommens.
6. 6.1 In dem vom Versicherten mit seiner Ehefrau geführten Betrieb werden Bäckerei- und Konditorei-Produkte angeboten. Gemäss dem hausärztlichen Bericht vom 25. Oktober 2002 entfallen gesamthaft etwa zwei Drittel der Tätigkeit des Beschwerdeführers auf - allergierelevante - Bäckerarbeiten und ein Drittel auf Konditorarbeiten. Dabei sieht der Tagesablauf des Versicherten nach dessen Darstellung im Verwaltungsverfahren so aus, dass von 01.00 Uhr bis 04.00 Uhr Arbeiten mit starker Mehlstaubentwicklung anfallen (Abwiegen nach Rezepten; Herstellen, Aufarbeiten und Formen der Teige). Es folgt bis 5.30 Uhr das Ausbacken der Ware, wobei wenig Mehlstaub anfällt. Danach werden die Waren bereitgestellt und ausgeliefert, was nicht mit einer Mehlexposition verbunden ist. Von 7.30 Uhr bis 12.00 Uhr werden Konditorei-Produkte bei geringem Mehlstaubkontakt hergestellt, und nach der Mittagspause werden von 15.00 Uhr bis 19.00 Uhr mit wenig Mehlstaub verbundene Vorbereitungsarbeiten für den nächsten Morgen sowie allgemeine Büroarbeiten vorgenommen.
6.2 Gemäss Stellungnahme des Dr. med. W._ vom Juni 2005 beträgt die Restarbeitsfähigkeit des Versicherten als Bäcker bei konsequentem Tragen von Feinstaubmaske und Schutzhandschuhen 50 %, während in der Tätigkeit als Konditor und für Büroarbeiten keine gesundheitsbedingte Einschränkung besteht (E. 3 hievor). Die Aussage des Hausarztes zur Restarbeitsfähigkeit als Bäcker liesse sich masslich in zweierlei Richtungen interpretieren. Entweder ist gemeint, dass der Versicherte im Rahmen seiner gesamten Tätigkeit lediglich noch zu 50 % als Bäcker tätig sein kann. Diesfalls wären ihm als Bäcker nurmehr 50 % anstelle der bisher ausgeübten 66 2/3 % eines Vollpensums zuzumuten, bei nicht eingeschränkter Arbeitsfähigkeit in dem bislang 33 1/3 % betragenden Tätigkeitsanteil als Konditor. Oder aber der Hausarzt geht davon aus, dass der Versicherte lediglich noch 50 % der bislang einem Anteil von 66 2/3 % an der Gesamttätigkeit entsprechenden Bäckerarbeit verrichten kann. In diesem Falle beliefe sich, bei unveränderter Situation in Bezug auf die Konditortätigkeit, die Restarbeitsfähigkeit als Bäcker auf 33 1/3 % eines Vollpensums. Dass der Hausarzt in den vorangegangenen Berichten eine Arbeitsunfähigkeit von gesamthaft 66 2/3 % bestätigt hatte und dabei die Tätigkeit eines Bäcker allergiebedingt als im damaligen Zeitpunkt gänzlich unzumutbar bezeichnet hatte, spricht eher dafür, dass er bei der Stellungnahme vom Juni 2005 von der ersten der beiden genannten Verständnisvarianten ausgegangen ist. Ob dies zutrifft, muss hier aber aufgrund der folgenden Erwägungen nicht abschliessend beantwortet werden.
6.3 Die bisherige Tätigkeit könnte der Versicherte nach dem Gesagten ohne irgendwelche betrieblichen Umstellungen noch in einem Gesamtumfang von 83 1/3 % (1. Variante: 50 % als Bäcker und 33 1/3 % als Konditor) resp. 66 2/3 % (2. Variante: 33 1/3 % als Bäcker und 33 1/3 % als Konditor) ausüben. Dabei ist der Anteil Büroarbeiten, für welche keine gesundheitliche Einschränkung besteht, nicht separat ausgewiesen.
Als betriebsorganisatorische Massnahme, mit welcher sich die erwerblichen Auswirkungen der bestehenden Gesundheitsschädigung weiter reduzieren lassen, fällt in erster Linie der Einsatz von Halbfertigprodukten (Teiglingen) bei der Bäckerarbeit in Betracht. Die Mehlexposition wäre dadurch zweifellos deutlich geringer. Die Verwendung von Teiglingen hatte der Versicherte im Verwaltungsverfahren anfänglich selber angeregt. Da er hiefür eine Kühlanlage benötigen würde, hat ihm die IV-Stelle für deren Beschaffung gestützt auf <ref-law> in Verbindung mit <ref-law> eine Kapitalhilfe in Form eines selbstamortisierenden Darlehens angeboten. Dieses Angebot lehnte der Beschwerdeführer in der Folge ab, und er hielt an seinem Rentenbegehren fest. Dabei kann aber ohne weiteres davon ausgegangen werden, dass die durch die Weizenmehlallergie bewirkte Erwerbseinbusse durch die Verwendung von Teiglingen unter Zuhilfenahme einer Kühlanlage noch weiter minimiert werden könnte und jedenfalls kein rentenbegründendes Ausmass mehr hätte. Dies gilt selbst dann, wenn die Verwendung von Teiglingen anstelle von selbst hergestellten Teigen allenfalls einen Teil der bisherigen Kundschaft zu den Bäckereiprodukten von Grossmärkten und Tankstellenshops hinführen sollte, wie dies der Versicherte unter Hinweis auf eine Stellungnahme des Schweizerischen Bäcker-Konditorenmeister-Verbandes vom 28. Februar 2006 geltend machen lässt. Zwar ist vorstellbar, dass sich eine solche Verlagerung ergibt und daraus ein Umsatz- und Verdienstrückgang resultiert. Dass dies zu einer Erwerbseinbusse in rentenrelevantem Ausmass beitragen oder gar die Existenz des Betriebs ernsthaft in Frage stellen könnte, ist aber nicht wahrscheinlich.
6.4 Aufgrund des Gesagten ist zuverlässig und ohne Notwendigkeit weiterer Sachverhaltsabklärungen zu folgern, dass die durch die Weizenmehlallergie begründete Arbeits- und Erwerbsunfähigkeit im eigenen Betrieb schon mit den erwähnten, als zumutbar zu betrachtenden Massnahmen in einer Weise gesenkt werden kann, dass kein Rentenanspruch besteht.
Damit kann offen bleiben, ob andernfalls zusätzliche betriebliche Umstellungen, wie der Ausbau des Konditorei- zu Lasten des Bäckereianteils, erwartet werden dürften. Ebenso erübrigen sich Weiterungen zur Frage der Zumutbarkeit eines Berufswechsels und zu dem von der Vorinstanz durchgeführten Einkommensvergleich.
Was in der Verwaltungsgerichtsbeschwerde weiter vorgetragen wird, rechtfertigt kein anderes Ergebnis. Dies gilt auch, soweit dem Wunsch des Versicherten Ausdruck gegeben wird, durch die mittels der anbegehrten Invalidenrente zu finanzierende Anstellung einer Hilfsperson den Betrieb für die verbleibenden Jahre bis zur Pensionierung in der bisherigen Weise weiterführen zu können. Die Konzeption der Invalidenversicherung beruht in wesentlicher Weise auf dem Grundsatz der Selbsteingliederung als Ausdruck der allgemeinen Schadenminderungspflicht. Das heisst, die invalide Person hat, bevor sie Leistungen verlangt, alles ihr Zumutbare vorzukehren, um die Folgen der Invalidität bestmöglich zu mildern (<ref-ruling> E. 4a S. 28; AHI 2001 S. 277 E. 5a/aa; vgl. auch <ref-ruling> E. 4.2 S. 463, 123 V 230 E. 3c S. 233). Wird diesem Grundsatz hier Rechnung getragen, besteht keine rentenbegründende Invalidität.

Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn, der Ausgleichskasse Panvica und dem Bundesamt für Sozialversicherungen zugestellt.
Luzern, 27. Februar 2007
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: