Sachverhalt:
Sachverhalt:
A. Mit Verfügungen vom 16. Mai 2003 sprach die IV-Stelle des Kantons Graubünden A._ (geb. 1949) eine ganze Invalidenrente für die Zeitspanne vom 1. Juli 2000 bis 30. April 2001 sowie eine halbe IV-Rente vom 1. Mai bis 31. Juli 2001 zu. Mit Einspracheentscheid vom 14. August 2003 bestätigte die IV-Stelle diese Verfügungen.
A. Mit Verfügungen vom 16. Mai 2003 sprach die IV-Stelle des Kantons Graubünden A._ (geb. 1949) eine ganze Invalidenrente für die Zeitspanne vom 1. Juli 2000 bis 30. April 2001 sowie eine halbe IV-Rente vom 1. Mai bis 31. Juli 2001 zu. Mit Einspracheentscheid vom 14. August 2003 bestätigte die IV-Stelle diese Verfügungen.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 21. November 2003 ab.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 21. November 2003 ab.
C. A._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es sei ihm für die Periode vom 1. Mai bis 31. Juli 2001 eine ganze statt einer halben und ab 1. August 2001 eine ganze IV-Rente auszurichten.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Das kantonale Verwaltungsgericht hat die in zeitlicher Hinsicht anwendbaren gesetzlichen Bestimmungen zur Ermittlung des Invaliditätsgrades nach der Methode des Einkommensvergleichs (<ref-law>; vgl. auch altArt. 28 Abs. 1, 1bis und 2 IVG) sowie die dazu ergangene Rechtsprechung richtig dargelegt. Darauf wird verwiesen. Ferner trifft zu, dass die am 1. Januar 2004 in Kraft getretenen Änderungen des Bundesgesetzes über die Invalidenversicherung vom 21. März 2003 und der Verordnung über die Invalidenversicherung vom 21. Mai 2003 nicht zur Anwendung gelangen (<ref-ruling> Erw. 1.2).
1. Das kantonale Verwaltungsgericht hat die in zeitlicher Hinsicht anwendbaren gesetzlichen Bestimmungen zur Ermittlung des Invaliditätsgrades nach der Methode des Einkommensvergleichs (<ref-law>; vgl. auch altArt. 28 Abs. 1, 1bis und 2 IVG) sowie die dazu ergangene Rechtsprechung richtig dargelegt. Darauf wird verwiesen. Ferner trifft zu, dass die am 1. Januar 2004 in Kraft getretenen Änderungen des Bundesgesetzes über die Invalidenversicherung vom 21. März 2003 und der Verordnung über die Invalidenversicherung vom 21. Mai 2003 nicht zur Anwendung gelangen (<ref-ruling> Erw. 1.2).
2. Streitig und zu prüfen ist der Invaliditätsgrad.
2.1 Der Beschwerdeführer erlitt am 9. April 1999 und am 10. September 2000 je einen Auffahrunfall. Gemäss zwei Gutachten von Prof. M._, Spezialarzt FMH für Neurologie vom 8. November 2000 und 22. Juni 2001 sowie einem zusätzlichen Schreiben dieses Experten vom 30. September 2001 ist der Versicherte "bei sehr grosszügiger Wertung der subjektiven Angaben" unfallbedingt dauernd zu 15%, "allerhöchstens" zu 20% arbeitsunfähig. Verwaltung und Vorinstanz stützten sich auf diese Unterlagen, um auf den verfügten Rentenanspruch zu kommen.
2.2 Der Beschwerdeführer bestreitet, dass auf diese Expertisen abgestellt werden könne. Insbesondere habe die Invalidenversicherung auch nicht unfallbedingte Leiden berücksichtigen, während Prof. M._ lediglich die reinen Unfallfolgen geprüft habe. Daher verlangt der Versicherte unter anderem eine psychiatrische Untersuchung. Da keine Anzeichen für ein psychisches Leiden bestehen (Prof. M._ bezeichnet den Versicherten im Gutachten vom 8. November 2000 als psychisch "absolut unauffällig"; einzig im Bericht von Dr. med. T._, Spezialarzt für Neurologie FMH vom 30. Oktober 2001 wird eine Vergesslichkeit erwähnt), erübrigt sich jedoch eine entsprechende Begutachtung. Das nichtssagende Zeugnis von Dr. med. Z._, Allgemeine Medizin FMH vom 12. April 2001 enthält weder Diagnosen noch Begründung und ist daher nicht geeignet, die einlässlichen Angaben von Prof. M._ in Frage zu stellen. Entgegen der Verwaltungsgerichtsbeschwerde hat der Professor die unfallfremden Faktoren nicht ausser Acht gelassen. In beiden Gutachten weist er ausdrücklich auf die keineswegs blande Anamnese und insbesondere auf die seit der Kindheit bestehende Verkürzung des linken Beines hin. Indessen geht der Experte davon aus, dass diese vorbestehenden Leiden bisher beschwerdefrei gewesen seien und die Arbeitsfähigkeit nicht beeinträchtigt hätten. Im Gutachten vom 8. November 2000 bezeichnet er es als unwahrscheinlich, dass eine über das Ausmass von 25% hinausgehende Arbeitsunfähigkeit verbleiben würde. Ausserdem schlug er mehrere Therapien zur Besserung der durch die Beinverkürzung verursachten Leiden vor. Unter solchen Umständen kann auf weitere medizinische Abklärungen verzichtet werden. Es ist nicht zu erwarten, dass sich dabei selbst in Berücksichtigung der gesamten gesundheitlichen Beeinträchtigungen und sämtlicher Unfälle eine signifikant höhere Arbeitsunfähigkeit ergäbe. Vielmehr ist davon auszugehen, dass sich der Gesundheitszustand des Beschwerdeführers nach den Unfällen schrittweise gebessert hat. Daran vermögen auch die neu eingereichten Belege der Physiotherapie Albula nichts zu ändern. Sie wurden nach dem Datum des Einspracheentscheides erstellt, welches die zeitliche Grenze der richterlichen Überprüfungsbefugnis bildet (<ref-ruling> Erw. 1). Ausserdem enthalten sie keine Angaben zur Arbeits(un)fähigkeit.
2.3 In wirtschaftlicher Hinsicht macht der Beschwerdeführer geltend, er sei inzwischen nicht mehr als selbstständiger Steinmetz, sondern nur noch als Angestellter im selben Betrieb beschäftigt und verdiene bloss noch Fr. 2000.- im Monat. Hier ist dem Versicherten zu entgegnen, dass er im Rahmen der ihm zumutbaren Schadenminderungspflicht (<ref-ruling> Erw. 4a) gehalten ist, auf dem gesamten allgemeinen Arbeitsmarkt nach einer geeigneten Tätigkeit Ausschau zu halten, notfalls auch in anderen Berufen. Die Arbeit eines Steinmetz ist als körperlich eher schwere Tätigkeit nicht unbedingt den Leiden des Versicherten angepasst. Gemäss Prof. M._ beträgt seine Arbeitsfähigkeit als selbstständiger Steinmetz noch 80-85%. Daraus ist zu folgern, dass leichtere Arbeiten umso mehr zumutbar bleiben. Wenn der Beschwerdeführer schon die selbstständige Tätigkeit als Steinmetz angeblich aus gesundheitlichen Gründen aufgibt, ist nicht verständlich, weshalb er danach die selbe Tätigkeit als Angestellter ausübt, statt in einen seinen Leiden besser angepassten Beruf zu wechseln. Er verwertet demzufolge die ihm verbliebene Arbeitsfähigkeit nicht optimal. Alternative Tätigkeiten kämen durchaus in Frage. Aus der Anamnese der Gutachten von Prof. M._ ergibt sich, dass der Beschwerdeführer bereits in unterschiedlichen Berufen tätig war. Auf dem allgemeinen Arbeitsmarkt existieren Stellen, in welchen er die verbliebene hohe Arbeitsfähigkeit besser verwerten könnte als mit der Anstellung als Steinmetz in seiner eigenen Firma, wo er auch vor den Unfällen nie viel Gewinn erzielt hat. Gemäss den in der Schweizerischen Lohnstrukturerhebung (LSE) 2000 enthaltenen Tabellenlöhnen verdienten Männer in einfachen und repetitiven Tätigkeiten monatlich Fr. 4437.- oder Fr. 53'244.- im Jahr. Dies ergibt im Vergleich zu dem als selbstständiger Steinmetz erzielten Verdienst (1997: Fr. 24'440.-; 1998: Fr. 7623.-; 1999: Fr. 33'600.- gemäss Eintragungen im Individuellen Konto) auch bei für den Beschwerdeführer günstigsten Annahmen bei weitem keinen Anspruch auf eine Invalidenrente mehr. Wird von den Zahlen ausgegangen, welche die IV-Stelle in ihrer Vernehmlassung beigezogen hat und die auf den Betriebsgewinnen bzw. -verlusten basieren, käme der Beschwerdeführer auf noch niedrigere Invaliditätsgrade. Daher hat die Verwaltung die Rente zu Recht erst reduziert und danach aufgehoben.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden, Kammer 2 als Versicherungsgericht, und dem Bundes-amt für Sozialversicherung zugestellt.
Luzern, 26. August 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: