Sachverhalt:
A. Der 1948 geborene S._ ist seit 1986 als selbstständigerwerbender Bodenleger tätig. Im Januar 2004 meldete er sich bei der Invalidenversicherung zum Leistungsbezug (Rente) an unter Hinweis auf Beschwerden in den Knien und Fussgelenken.
Im Rahmen der Abklärung der gesundheitlichen und erwerblichen Verhältnisse durch die IV-Stelle des Kantons Graubünden ergab sich, dass S._ aus gesundheitlichen Gründen keine schweren Arbeiten mehr verrichten konnte und beabsichtigte, sein Bodenlegergeschäft Ende 2006 seinem Sohn zu übergeben und für diesen ab 1. Januar 2007 weiterhin in unselbstständiger Stellung (im Bereich Bemusterung, Offertwesen, Besuch von Messen) tätig zu sein.
Die IV-Stelle prüfte berufliche Massnahmen im Sinne einer Umschulung oder Einarbeitung in eine neue Tätigkeit und schloss diese mit dem Hinweis "Verzicht auf berufliche Massnahme" mit Verfügung vom 7. März 2007 ab. Mit Verfügungen vom 7. März 2008 sprach sie S._ eine halbe Invalidenrente ab 1. November 2003 (Invaliditätsgrad: 50 %), eine ganze ab 1. Februar 2005 (Invaliditätsgrad: 100 %) und wiederum eine halbe ab 1. August 2005 (Invaliditätsgrad: 51 %) zu (Verfügungen vom 7. März 2008).
B. Beschwerdeweise liess S._ sinngemäss beantragen, die angefochtenen Verfügungen seien aufzuheben und die IV-Stelle sei zu verpflichten, ihm die gesetzlichen Leistungen (einschliesslich Ehegattenzusatzrente) nach Massgabe eines Invaliditätsgrades von mindestens 70 % rückwirkend ab 1. November 2003 auszurichten, zuzüglich Verzugszins von 5 %. Mit Entscheid vom 10. Juli 2008 wies das Verwaltungsgericht des Kantons Graubünden die Beschwerde ab.
C. S._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der kantonale Entscheid sei aufzuheben und es seien ihm die gesetzlichen Leistungen (einschliesslich Ehegattenzusatzrente) nach Massgabe eines Invaliditätsgrades von mindestens 70 % - bzw. 100 % für die Zeit vom 1. Februar bis 31. Juli 2005 - rückwirkend ab 1. November 2003 auszurichten, zuzüglich Verzugszins von 5 %. Eventualiter sei die Sache an die IV-Stelle zurückzuweisen, damit sie den Invaliditätsgrad anhand eines Betätigungsvergleichs ermittle.
Die IV-Stelle schliesst auf Abweisung der Beschwerde, ohne sich materiell zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Die Vorinstanz hat die Bestimmungen über den Umfang des Rentenanspruches (<ref-law> in der mit der 4. IV-Revision am 1. Januar 2004 in Kraft getretenen, bis Ende 2007 gültig gewesenen Fassung; vgl. auch <ref-law> in der bis 31. Dezember 2003 gültig gewesenen Fassung; vgl. auch <ref-law> in der ab 1. Januar 2008 geltenden Fassung) sowie die Bemessung der Invalidität bei Erwerbstätigen nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>, ab 1. Januar 2004 bis Ende 2007 in Verbindung mit <ref-law>; <ref-ruling> E. 3.4 S. 348 f., 128 V 29 E. 1 S. 30 f.) zutreffend dargelegt. Richtig ist auch, dass bei nicht zuverlässig ermittel- oder schätzbaren hypothetischen Erwerbseinkommen nach der ausserordentlichen Bemessungsmethode verfahren werden muss, mithin in Anlehnung an die spezifische Methode für Nichterwerbstätige (<ref-law>) ein Betätigungsvergleich anzustellen und der Invaliditätsgrad nach Massgabe der erwerblichen Auswirkungen der verminderten Leistungsfähigkeit in der konkreten erwerblichen Situation zu bestimmen ist (im Einzelnen: <ref-ruling> E. 1 S. 30 f., 104 V 135 E. 2c S. 137 f.). Darauf wird verwiesen.
3. Zu prüfen ist der Anspruch des Beschwerdeführers auf eine Rente der Invalidenversicherung, wobei der Grad der Arbeitsunfähigkeit unbestritten ist und unter den Parteien einzig Uneinigkeit in der Ermittlung des Invaliditätsgrades besteht.
3.1 Das kantonale Gericht erwog, der Invaliditätsgrad könne mit der IV-Stelle ohne weiteres anhand der allgemeinen Methode des Einkommensvergleichs ermittelt werden. Die IV-Stelle sei unter Zugrundelegung des sich aus den Jahresabschlüssen der Geschäftsbuchhaltung ergebenden Durchschnittseinkommens der Jahre 1997 bis 2001 und nach Anpassung an die Teuerung (4,6 %) zu einem Valideneinkommen von Fr. 99'000.- gelangt, welches sie vernehmlassungsweise auf Fr. 111'215.- korrigiert habe, nachdem sie die vom Beschwerdeführer durchschnittlich bezahlten AHV/IV/EO-Beiträge von Fr. 13'900.- addiert und den durchschnittlichen Eigenkapitalzins in der Höhe von Fr. 1'685.- abgezogen habe. Für das Invalideneinkommen habe die Verwaltung, weil der Beschwerdeführer mit der Tätigkeit im seinem Sohn übergebenen Betrieb (Jahreslohn von höchstens Fr. 26'000.-) seine Resterwerbsfähigkeit nicht genügend ausschöpfe, auf Tabellenlöhne (TA1 der Lohnstrukturerhebung [LSE] 2004, Anforderungsniveau 4, aufgerechnet auf 41,6 Wochenstunden) abgestellt und nach Gewährung eines leidensbedingten Abzuges von 15 % ein Einkommen von Fr. 48'669.50 errechnet. Damit seien die beiden Vergleichseinkommen und der aus deren Gegenüberstellung resultierende Invaliditätsgrad (56 %) korrekt festgesetzt worden.
3.2 Der Beschwerdeführer macht geltend, Vorinstanz und IV-Stelle hätten die Invalidität nach dem ausserordentlichen Bemessungsverfahren ermitteln müssen. Die damit aufgeworfene Frage, ob die gesetzlichen und rechtsprechungsgemässen Regeln über die Durchführung des Einkommensvergleichs eingehalten worden sind und damit im konkreten Fall die zutreffende Invaliditätsbemessungsmethode angewendet worden ist, ist eine vom Bundesgericht frei überprüfbare Rechtsfrage (<ref-ruling> E. 3.3 S. 399). Bei selbständigerwerbenden Versicherten fällt die Ermittlung des Invaliditätsgrades aufgrund der (von der IV-Stelle und der Vorinstanz hier als massgeblich betrachteten) konkreten beruflich-erwerblichen Situation ausser Betracht, wenn das Geschäftsergebnis durch invaliditätsfremde Faktoren beeinflusst worden ist, wie etwa die Konjunkturlage, die Konkurrenzsituation, den kompensatorischen Einsatz von Familienangehörigen etc. (AHI 1998 S. 251, I 432/97 E. 4a; vgl. auch AHI 1998 S. 119, I 83/97 E. 2c; <ref-ruling> E. 2 S. 31). Indessen anerkennt auch der Beschwerdeführer, dass sich den Akten keine Anhaltspunkte für derartige Einflüsse entnehmen lassen. Ein Grund für die Anwendung des ausserordentlichen Bemessungsverfahrens besteht demnach nicht. Insbesondere kann ein solcher auch nicht in den zwischen IK-Auszug und Jahresabschluss bestehenden Einkommensdifferenzen erblickt werden (vgl. dazu hinten E. 3.4). Dass Vorinstanz und IV-Stelle nicht nach dem ausserordentlichen Bemessungsverfahren vorgegangen sind, verletzt deshalb Bundesrecht nicht.
3.3 Was die Ermittlung des Invalideneinkommens anbelangt, hat bereits die Vorinstanz zutreffend darauf hingewiesen, dass auf den vom Beschwerdeführer im Geschäft seines Sohnes erzielten Jahreslohn von Fr. 26'000.- nicht abgestellt werden kann, weil er nicht einer zumutbaren, d.h. die Restarbeitsfähigkeit bestmöglich verwertenden Leistung entspricht (<ref-ruling> E. 4.2.1 S. 475). Ob der Beschwerdeführer sich sodann - welche Sachverhaltsfeststellung der Vorinstanz in der Beschwerde als unrichtig gerügt wird - gegen eine berufliche Massnahme ausgesprochen hat oder ob er - wie in der Beschwerde geltend gemacht - gemeinsam mit dem Berater der IV-Stelle eine berufliche Massnahme als aussichtslos verworfen hat, ist nicht entscheidend. Denn entgegen der Auffassung des Beschwerdeführers lässt auch seine Darstellung nicht den Schluss zu, ein Berufswechsel sei ihm nicht zumutbar und es könnten keine Tabellenlöhne beigezogen werden. Vielmehr schliesst selbst die Ablehnung einer beruflichen Massnahme mangels hinreichender Eingliederungschancen durch die IV-Stelle die Annahme, dem Versicherten sei die wirtschaftliche Verwertung seiner Arbeitskraft auf dem allgemeinen, ausgeglichenen Arbeitsmarkt möglich und zumutbar, nicht aus (vgl. Urteil I 819/04 vom 27. Mai 2005). Der Beschwerdeführer war im Zeitpunkt der Rentenverfügungen knapp 60 Jahre alt und hatte damit, auch mit Blick auf seine übrigen persönlichen und beruflichen Voraussetzungen und die bevorstehende Aktivitätsdauer von immerhin noch 5 Jahren, die kritische Altersgrenze (vgl. etwa Urteil I 401/01 vom 4. April 2002 E. 4c; I 617/02 vom 10. März 2003 E. 3.3) für die Annahme vollständiger Erwerbsunfähigkeit mangels wirtschaftlicher Verwertbarkeit des verbleibenden Leistungsvermögens noch nicht erreicht (Urteil I 819/04 vom 27. Mai 2005 E. 2.2, I 496/04 vom 15. Dezember 2004 E. 2.4 in fine). Damit steht auch einer Ermittlung des trotz Gesundheitsschadens im Rahmen des Zumutbaren hypothetisch erzielbaren Einkommens (Invalideneinkommen) gestützt auf die Tabellenlöhne der vom Bundesamt für Statistik herausgegebenen Lohnstrukturerhebung (LSE) nichts entgegen (Urteil I 819/04 vom 27. Mai 2005 E. 2.2, 2.3 und 3; vgl. <ref-ruling> E. 4.2.1 S. 475).
Soweit der Beschwerdeführer sodann die Höhe des Abzuges vom Tabellenlohn (15 %) beanstandet, geht es um eine typische Ermessensfrage, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das kantonale Versicherungsgericht das Ermessen rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (vgl. <ref-ruling> E. 3.3 in fine S. 399; Urteil 9C_469/2008 vom 18. August 2008 E. 5.1). Im Falle des Beschwerdeführers wirkt sich von den in Betracht fallenden Merkmalen nur die leidensbedingte Einschränkung (nicht aber Alter, Dienstjahre, Nationalität/Aufenthaltskategorie oder Beschäftigungsgrad) lohnmindernd aus. Entgegen der in der Beschwerde vertretenen Auffassung wurde der Tatsache, dass der Versicherte im Rahmen des ihm zumutbaren Vollzeitpensums allenfalls nurmehr eine reduzierte Leistung erbringen kann, mit dem Abzug von 15 % ausreichend Rechnung getragen. Soweit der Beschwerdeführer schliesslich einen höheren Abzug mit der ihm fehlenden Berufserfahrung zu rechtfertigen versucht, sei darauf hingewiesen, dass dieser im Anforderungsniveau 4 (einfache und repetitive Tätigkeiten) im Unterschied zum Anforderungsniveau 3 (Berufs- und Fachkenntnisse vorausgesetzt) praktisch keine Bedeutung zukommt (vgl. auch <ref-ruling> E. 5a/cc S. 79 mit Hinweis). Von einer rechtsfehlerhaften Ermessensausübung kann demnach nicht die Rede sein.
3.4 Hinsichtlich des Valideneinkommens macht der Beschwerdeführer sodann gestützt auf den Auszug aus dem individuellen Konto (IK) einen Wert von Fr. 137'300.- (Durchschnitt der Jahre 1997-2001) oder Fr. 148'120.- (Durchschnitt der Jahre 1996-2000) statt der von der IV-Stelle aufgrund der Jahresrechnungen (Durchschnitt der Jahre 1997-2001) ermittelten und von der Vorinstanz bestätigten Fr. 111'215.- geltend.
Anknüpfungspunkt für die Bestimmung des Valideneinkommens ist grundsätzlich der letzte vor Eintritt der Gesundheitsschädigung erzielte, nötigenfalls der Teuerung und der realen Einkommensentwicklung angepasste Verdienst (<ref-ruling> E. 4.1 S. 325, 129 V 222 E. 4.3.1 S. 224 mit Hinweisen). Angesichts der in <ref-law> vorgeschriebenen Parallelisierung der IV-rechtlich massgebenden hypothetischen Vergleichseinkommen mit den AHV-rechtlich beitragspflichtigen Einkommen kann das Valideneinkommen von Selbstständigerwerbenden grundsätzlich aufgrund der IK-Einträge bestimmt werden (Urteile 8C_576/2008 vom 10. Februar 2009 E. 6.2, I 84/06 vom 10. Mai 2006 E. 4.1 und I 297/02 vom 28. April 2003 E. 3.2.4), ohne dass diese indessen als unabänderliche Grössen verstanden werden dürften, die eine keinem Gegenbeweis zugängliche Tatsachenvermutung schaffen würden (Urteil I 705/05 vom 4. Januar 2007 E. 3.2 in fine).
Im vorliegenden Fall können die IK-Einträge (1997: Fr. 157'900.-; 1998: Fr. 153'200.-; 1999: Fr. 153'200.-; 2000: Fr. 118'600.-; 2001: Fr. 103'600.-) für die Ermittlung des Valideneinkommens nicht beigezogen werden. Denn mit dem Ausgangspunkt für die Ermittlung des Valideneinkommens bildenden, letzten vor Eintritt der Gesundheitsschädigung erzielten Verdienst haben sie insofern wenig gemein, als sie bis zur Umstellung von der Vergangenheits- auf die Gegenwartsbemessung der Beiträge auf den 1. Januar 2001, d.h. mithin bis im Jahr 2000, die in früheren Jahren (1993-1998) erzielten und - wie ein Vergleich mit den Jahresrechnungen (1997: Fr. 96'409.90; 1998: Fr. 100'769.45; 1999: Fr. 101'704.25; 2000: Fr. 104'473.95; 2001: Fr. 72'026.-) zeigt - deutlich höher ausgefallenen Einkommen wiedergeben. Selbst wenn indessen von dem durch den Beschwerdeführer in seinem am 31. Juli 2007 verfassten Einwand gegen den Vorbescheid vom 26. Juni 2007 aufgrund der Geschäftsbücher ermittelten, bis ins Jahr 2004 aufindexierten Einkommen von rund Fr. 117'000.- ausgegangen würde, ergäbe sich bei Gegenüberstellung mit dem Invalideneinkommen von Fr. 48'669.50 mit 58,4 % kein einen Anspruch auf mehr als eine halbe Rente begründender Invaliditätsgrad.
4. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden, der Ausgleichskasse des Kantons Graubünden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 27. Mai 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Keel Baumann