Sachverhalt:
Sachverhalt:
A. Z._, geboren 1940 und selbstständigerwerbender Inhaber einer Tankstelle mit Shop, stürzte am 17. April 1998 von einer Leiter, wobei er sich eine Commotio cerebri, eine Rissquetschwunde occipital, mehrere Kontusionen sowie einen erst später entdeckten Impressions-Keilbruch Th 11 zuzog. Die IV-Stelle des Kantons Schaffhausen zog die Akten des Unfallversicherers bei. Weiter holte sie einen Bericht des Dr. med. B._, Facharzt FMH Allgemeine Medizin, vom 29. November 1999 (mit medizinischen Vorakten) ein und nahm - nebst weiteren Abklärungen in erwerblicher Hinsicht - am 13. April 2000 eine Abklärung im Betrieb vor. Schliesslich veranlasste die Verwaltung eine Begutachtung durch die Klinik S._ (Gutachten vom 23. Februar 2001 mit Bericht über die Evaluation der funktionellen Leistungsfähigkeit vom 11./12. Dezember 2000). Nach durchgeführtem Vorbescheidverfahren lehnte die IV-Stelle mit Verfügung vom 19. Februar 2002 den Anspruch auf eine Invalidenrente ab, da sie in Anwendung eines Betätigungsvergleiches einen Invaliditätsgrad von 21.5% festgestellt hatte.
A. Z._, geboren 1940 und selbstständigerwerbender Inhaber einer Tankstelle mit Shop, stürzte am 17. April 1998 von einer Leiter, wobei er sich eine Commotio cerebri, eine Rissquetschwunde occipital, mehrere Kontusionen sowie einen erst später entdeckten Impressions-Keilbruch Th 11 zuzog. Die IV-Stelle des Kantons Schaffhausen zog die Akten des Unfallversicherers bei. Weiter holte sie einen Bericht des Dr. med. B._, Facharzt FMH Allgemeine Medizin, vom 29. November 1999 (mit medizinischen Vorakten) ein und nahm - nebst weiteren Abklärungen in erwerblicher Hinsicht - am 13. April 2000 eine Abklärung im Betrieb vor. Schliesslich veranlasste die Verwaltung eine Begutachtung durch die Klinik S._ (Gutachten vom 23. Februar 2001 mit Bericht über die Evaluation der funktionellen Leistungsfähigkeit vom 11./12. Dezember 2000). Nach durchgeführtem Vorbescheidverfahren lehnte die IV-Stelle mit Verfügung vom 19. Februar 2002 den Anspruch auf eine Invalidenrente ab, da sie in Anwendung eines Betätigungsvergleiches einen Invaliditätsgrad von 21.5% festgestellt hatte.
B. Die dagegen - unter Beilage mehrerer Berichte des Dr. med. B._ - erhobene Beschwerde wies das Obergericht des Kantons Schaffhausen mit Entscheid vom 22. August 2003 ab.
B. Die dagegen - unter Beilage mehrerer Berichte des Dr. med. B._ - erhobene Beschwerde wies das Obergericht des Kantons Schaffhausen mit Entscheid vom 22. August 2003 ab.
C. Z._ lässt Verwaltungsgerichtsbeschwerde führen mit den Anträgen, unter Aufhebung des vorinstanzlichen Entscheides und der Verwaltungsverfügung sei ihm eine halbe Invalidenrente zuzusprechen, eventualiter sei die Sache zur weiteren Abklärung und zu neuem Entscheid an die Vorinstanz zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.
D. Da die Verwaltung zusammen mit ihrer Vernehmlassung das nicht (mehr) in den Akten liegende Gutachten der Klinik S._ vom 23. Februar 2001 erneut einreichte, wurde ein zweiter Schriftenwechsel durchgeführt.
Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Vorab rügt der Versicherte eine Verletzung des rechtlichen Gehörs, indem die Verwaltung ihm keine Gelegenheit geboten habe, Einwendungen gegen die Person des Gutachters zu machen und sich zur Fragestellung zu äussern; zudem sei ihm die Evaluation der funktionellen Leistungsfähigkeit der Klinik S._ von Dezember 2000 nicht zur Stellungnahme unterbreitet worden, während das Gutachten von Februar 2001 gar nicht in den Akten gelegen sei.
1.1 Nach Bundesrecht ist die IV-Stelle nicht verpflichtet, die Meinung des Versicherten zur Wahl des Experten und zur geplanten Fragestellung einzuholen; eine Anhörung vor Verfügungserlass ist ausreichend (Art. 73bis IVV [in Kraft gestanden bis Ende 2002]; BGE 125 V 404 Erw. 3; Urteil D. vom 18. April 2002, I 565/01, Erw. 1b/aa). Es ist in dieser Hinsicht zu beachten, dass das am 1. Januar 2003 in Kraft getretene Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 hier nicht anwendbar ist, da nach dem massgebenden Zeitpunkt des Erlasses der streitigen Verfügung (19. Februar 2002) eingetretene Rechts- und Sachverhaltsänderungen vom Sozialversicherungsgericht nicht berücksichtigt werden (BGE 129 V 4 Erw. 1.2); es kann deshalb offen bleiben, ob unter der Geltung des ATSG - insbesondere dessen Art. 44 - anders zu entscheiden wäre oder nicht.
1.2 In ihrer Duplik führt die IV-Stelle aus, dass sie sich für den Verfügungserlass nur auf den Bericht über die Evaluation der funktionellen Leistungsfähigkeit der Klinik S._ von Dezember 2000 abgestützt habe. Entgegen der gegenteiligen Annahme der Verwaltung ist dennoch erstellt, dass ihr das zusätzlich erstellte Gutachten vom 23. Februar 2001 vor Verfügungserlass vorgelegen ist - so hat die Klinik S._ das Gutachten der IV-Stelle eingeschrieben zugeschickt und Letztere hat es im Mai 2001 wiederum dem Unfallversicherer zur Kenntnisnahme zugestellt. Damit ist davon auszugehen, dass die Verwaltung vor Verfügungserlass über alle massgebenden Akten verfügte.
Anders sieht es aber hinsichtlich des kantonalen Gerichts aus, denn dieses hatte erwiesenermassen keine Kenntnis von der zusätzlich erstellten Expertise, was sich einerseits explizit aus dem Text des vorinstanzlichen Entscheides, andererseits aus dem entsprechenden Hinweis in der letztinstanzlichen Vernehmlassung der Verwaltung ergibt. In der erstinstanzlichen Beschwerde hatte der Versicherte jedoch darauf hingewiesen, dass (allenfalls) ein Gutachten vorliege, aber nicht in den Akten sei, was von der IV-Stelle in ihrer vorinstanzlichen Vernehmlassung bestritten worden ist. Trotz diesen Ausführungen der Verwaltung hatte das kantonale Gericht aufgrund der Akten - insbesondere des Briefwechsels der IV-Stelle mit dem Unfallversicherer über die Zustellung der Expertise - genügend Anhaltspunkte, um die mögliche Existenz dieses Gutachtens annehmen zu können und in der Folge über dessen Verbleib entweder selber nachzuforschen oder - anlässlich einer Rückweisung - die Verwaltung damit zu beauftragen. Es ist somit erwiesen, dass die Vorinstanz ohne umfassende Kenntnis des rechtserheblichen Sachverhalts entschieden hat. Denn bei der Expertise der Klinik S._ vom 23. Februar 2001 handelt es sich um ein massgebendes Sachverhaltselement, dem im Rahmen der Beweiswürdigung eine wichtige Bedeutung zukommt, weil damit die Ergebnisse der Evaluation der funktionellen Leistungsfähigkeit von Dezember 2000 zu überprüfen sind. Das Fehlen des Gutachtens in den Akten stellt somit einen groben Verfahrensfehler dar. Da zudem die für den vorinstanzlichen Entscheid massgebenden medizinischen Grundlagen im letztinstanzlichen Verfahren in Frage gestellt werden, und sich der Versicherte vor dem kantonalen Gericht mangels Kenntnis nicht zum Gutachten von Februar 2001 äussern konnte, kann dieser Fehler vor dem Eidgenössischen Versicherungsgericht nicht geheilt werden.
1.3 Die Sache wird deshalb an die Vorinstanz zurückgewiesen, damit sie - nachdem sie dem Beschwerdeführer Gelegenheit zur Stellungnahme geboten haben wird - in Kenntnis des gesamten Sachverhaltes neu entscheide. Dabei wird das kantonale Gericht zu berücksichtigen haben, dass - entgegen der Auffassung in der Verwaltungsgerichtsbeschwerde - im Abklärungsbericht vom 13. April 2000 nur auf die Arbeit des Beschwerdeführers im Betrieb abgestellt und insoweit die Mitarbeit der Familienmitglieder ausgeschieden worden ist (Art. 25 Abs. 2 IVV).
Obwohl die Vorinstanz ausführt, die IV-Stelle habe eine erwerbliche Gewichtung vorgenommen (vgl. dazu BGE 128 V 29), ist dies letztlich nicht der Fall gewesen: Kantonales Gericht und Verwaltung haben allein darauf hingewiesen, dass der Versicherte die schwereren Arbeiten delegieren und leichtere Tätigkeiten selber machen könne, was aber keine erwerbliche Gewichtung darstellt, da es hierbei am dabei notwendigen wirtschaftlichen Element fehlt; vielmehr geht es nur um Fragen im Zusammenhang mit der Arbeitsfähigkeit. Immerhin ist in dieser Hinsicht zu bemerken, dass in klaren Fällen auf die Durchführung der erwerblichen Gewichtung verzichtet werden kann (Urteile G. vom 28. Februar 2005, I 616/04, Erw. 2.7, S. vom 25. März 2003, I 166/02, Erw. 4.2, Q. vom 18. Dezember 2002, I 72/02, Erw. 4.3), wobei ein solches Vorgehen jedoch offenzulegen ist.
Obwohl die Vorinstanz ausführt, die IV-Stelle habe eine erwerbliche Gewichtung vorgenommen (vgl. dazu BGE 128 V 29), ist dies letztlich nicht der Fall gewesen: Kantonales Gericht und Verwaltung haben allein darauf hingewiesen, dass der Versicherte die schwereren Arbeiten delegieren und leichtere Tätigkeiten selber machen könne, was aber keine erwerbliche Gewichtung darstellt, da es hierbei am dabei notwendigen wirtschaftlichen Element fehlt; vielmehr geht es nur um Fragen im Zusammenhang mit der Arbeitsfähigkeit. Immerhin ist in dieser Hinsicht zu bemerken, dass in klaren Fällen auf die Durchführung der erwerblichen Gewichtung verzichtet werden kann (Urteile G. vom 28. Februar 2005, I 616/04, Erw. 2.7, S. vom 25. März 2003, I 166/02, Erw. 4.2, Q. vom 18. Dezember 2002, I 72/02, Erw. 4.3), wobei ein solches Vorgehen jedoch offenzulegen ist.
2. Das Verfahren ist kostenlos (Art. 134 OG). Dem Ausgang des letztinstanzlichen Verfahrens entsprechend steht dem obsiegenden Versicherten eine Parteientschädigung zu (Art. 135 OG in Verbindung mit Art. 159 Abs. 2 OG).
Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Obergerichts des Kantons Schaffhausen vom 22. August 2003 aufgehoben und die Sache an die Vorinstanz zurückgewiesen wird, damit Sie im Sinne der Erwägungen neu entscheide.
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Obergerichts des Kantons Schaffhausen vom 22. August 2003 aufgehoben und die Sache an die Vorinstanz zurückgewiesen wird, damit Sie im Sinne der Erwägungen neu entscheide.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Die IV-Stelle des Kantons Schaffhausen hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 2'500.-- (einschliesslich Mehrwertsteuer) zu bezahlen.
3. Die IV-Stelle des Kantons Schaffhausen hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 2'500.-- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Schaffhausen, der Ausgleichskasse Versicherung, Zürich, und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 11. August 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: