Sachverhalt:
Sachverhalt:
A. Der 1969 geborene Z._, von Beruf Metzger, führt seit 1991 die 'Metzg X._' in Y._. Infolge eines 1986 erlittenen Unfalles traten seit 1996 vermehrt Schmerzen bei körperlichen Anstrengungen auf. Ab 11. November 1997 bestand eine ärztlich attestierte Arbeitsunfähigkeit von 50 %. Im März 1999 meldete sich Z._ bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Graubünden klärte die gesundheitlichen und betrieblichen Verhältnisse sowie die beruflichen Eingliederungsmöglichkeiten ab. Mit Verfügungen vom 15. März 2002 sprach sie dem Versicherten für die Monate Mai bis Juli 1998 eine Viertelsrente und ab 1. August 1998 aufgrund einer Erwerbsunfähigkeit von 59,26 % eine halbe Rente samt Zusatzrente für die Ehefrau und zwei Kinderrenten zu. In der Begründung wurde unter anderem festgehalten, aus medizinischer Sicht bestehe eine 50 %ige Einschränkung der Arbeitsfähigkeit. Auch eine andere Tätigkeit als die eines selbstständigen Metzgers wäre im Ausmass von mindestens 50 % zumutbar. Auf Beschwerde hin hob das Verwaltungsgericht des Kantons Graubünden am 4. Juli 2002 die Verfügungen vom 15. März 2002 auf und wies die Sache zu weiteren Abklärungen und neuer Entscheidung im Sinne der Erwägungen an die Verwaltung zurück.
Die IV-Stelle liess durch die Arbeitsvermittlung das hypothetische Einkommen der Ehefrau des Versicherten für ihre unentgeltliche Mitarbeit im Betrieb ihres Ehegatten abklären. Gestützt darauf ermittelte sie einen Invaliditätsgrad von 63 %. Mit Verfügungen vom 10. Oktober 2003 sprach die IV-Stelle Z._ für die Monate April bis Juni 1998 eine Viertelsrente und ab 1. Juli 1998 eine halbe Invalidenrente samt Zusatzrente für die Ehefrau und zwei Kinderrenten zu. Mit Einspracheentscheid vom 14. November 2003 bestätigte die Verwaltung die Viertels- und die halbe Rente mit dem Hinweis, dass Leistungsbeginn an sich der 1. Juni 1998 wäre.
Die IV-Stelle liess durch die Arbeitsvermittlung das hypothetische Einkommen der Ehefrau des Versicherten für ihre unentgeltliche Mitarbeit im Betrieb ihres Ehegatten abklären. Gestützt darauf ermittelte sie einen Invaliditätsgrad von 63 %. Mit Verfügungen vom 10. Oktober 2003 sprach die IV-Stelle Z._ für die Monate April bis Juni 1998 eine Viertelsrente und ab 1. Juli 1998 eine halbe Invalidenrente samt Zusatzrente für die Ehefrau und zwei Kinderrenten zu. Mit Einspracheentscheid vom 14. November 2003 bestätigte die Verwaltung die Viertels- und die halbe Rente mit dem Hinweis, dass Leistungsbeginn an sich der 1. Juni 1998 wäre.
B. Die Beschwerde des Z._ wies das Verwaltungsgericht des Kantons Graubünden nach zweifachem Schriftenwechsel mit Entscheid vom 25. Juni 2004 ab, soweit es darauf eintrat.
B. Die Beschwerde des Z._ wies das Verwaltungsgericht des Kantons Graubünden nach zweifachem Schriftenwechsel mit Entscheid vom 25. Juni 2004 ab, soweit es darauf eintrat.
C. Z._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, der kantonale Gerichtsentscheid sei aufzuheben und es sei ihm mit Wirkung ab 1. April 1998 eine ganze Invalidenrente zuzusprechen.
Die IV-Stelle beantragt die Abweisung der Verwaltungsgerichtsbeschwerde, Aufhebung von Gerichtsentscheid und Einspracheentscheid und Zusprechung einer Viertelsrente ab 1. Juni 1998. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.
Die IV-Stelle beantragt die Abweisung der Verwaltungsgerichtsbeschwerde, Aufhebung von Gerichtsentscheid und Einspracheentscheid und Zusprechung einer Viertelsrente ab 1. Juni 1998. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.
D. Das Eidgenössische Versicherungsgericht hat einen zweiten Schriftenwechsel durchgeführt.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Der Beschwerdeführer rügt eine Verletzung seines Gehörsanspruchs. Die vorinstanzliche Duplik sei ihm resp. seinem Rechtsvertreter nicht zugestellt worden. Diese Rüge ist unbegründet, soweit die Voraussetzungen für einen dritten Schriftenwechsel nicht gegeben waren (unveröffentlichte Urteile S. vom 28. Mai 1996 [H 253/94] und R. vom 28. April 1993 [H 161/92]), oder es ist darauf mit Blick auf den Ausgang des Verfahrens nicht näher einzugehen. Offen bleiben können sodann die in der Verwaltungsgerichtsbeschwerde aufgeworfenen Fragen, ob das kantonale Gericht an seinen Sitzungen vom 26. März und 25. Juni 2004 in gleicher Besetzung beraten und ob es in dieser Zeitspanne Abklärungen getroffen hat.
1. Der Beschwerdeführer rügt eine Verletzung seines Gehörsanspruchs. Die vorinstanzliche Duplik sei ihm resp. seinem Rechtsvertreter nicht zugestellt worden. Diese Rüge ist unbegründet, soweit die Voraussetzungen für einen dritten Schriftenwechsel nicht gegeben waren (unveröffentlichte Urteile S. vom 28. Mai 1996 [H 253/94] und R. vom 28. April 1993 [H 161/92]), oder es ist darauf mit Blick auf den Ausgang des Verfahrens nicht näher einzugehen. Offen bleiben können sodann die in der Verwaltungsgerichtsbeschwerde aufgeworfenen Fragen, ob das kantonale Gericht an seinen Sitzungen vom 26. März und 25. Juni 2004 in gleicher Besetzung beraten und ob es in dieser Zeitspanne Abklärungen getroffen hat.
2. 2.1 Am 1. Januar 2003 sind das Bundesgesetz vom 6. Oktober 2000 über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) und die dazugehörige Verordnung vom 11. September 2002 (ATSV) in Kraft getreten. Mit ihnen sind verschiedene materiellrechtliche Normen im Bereich der Invalidenversicherung geändert oder aufgehoben worden. In <ref-ruling> hat das Eidgenössische Versicherungsgericht entschieden, dass bei Erlass des Einspracheentscheides nach dem 1. Januar 2003 der Anspruch auf eine Invalidenrente für die Zeit bis 31. Dezember 2002 auf Grund der bisherigen und ab diesem Zeitpunkt nach den neuen resp. durch das ATSG geänderten Normen zu prüfen ist.
2.2 Vorliegend stellte der Versicherte im März 1999 das Rentengesuch. Aufgrund der Akten ist der frühest mögliche Rentenbeginn der 1. Juni 1998. Daran ändert nichts, dass das kantonale Gericht diesen Zeitpunkt auf den von der IV-Stelle verfügten 1. April 1998 festgesetzt hat. Der Anfechtungsgegenstand des erstinstanzlichen Beschwerdeverfahrens bildende Einspracheentscheid wurde am 14. November 2003 erlassen. Das kantonale Gericht hat den streitigen Rentenanspruch nach Massgabe der seit 1. Januar 2003 in Kraft stehenden oder auf diesen Zeitpunkt hin geänderten Rechtsvorschriften geprüft. Es hat somit nicht eine zeitlich getrennte Beurteilung vorgenommen. Dies ist insofern nicht von Bedeutung, als die Begriffe der Arbeitsunfähigkeit, Erwerbsunfähigkeit, Invalidität sowie der Einkommensvergleichsmethode nach Art. 6, 7 und 8 Abs. 1 ATSG sowie <ref-law> im Sinne der bisherigen Rechtsprechung auszulegen und anzuwenden sind (<ref-ruling>). Nach zutreffender Feststellung der Vorinstanz haben im Übrigen die seit 1. Januar 2004 in Kraft stehenden Gesetzes- und Verordnungsänderungen im Rahmen der 4. IV-Revision (vgl. AS 2003 3837 ff. und 3859 ff.) unberücksichtigt zu bleiben.
2.2 Vorliegend stellte der Versicherte im März 1999 das Rentengesuch. Aufgrund der Akten ist der frühest mögliche Rentenbeginn der 1. Juni 1998. Daran ändert nichts, dass das kantonale Gericht diesen Zeitpunkt auf den von der IV-Stelle verfügten 1. April 1998 festgesetzt hat. Der Anfechtungsgegenstand des erstinstanzlichen Beschwerdeverfahrens bildende Einspracheentscheid wurde am 14. November 2003 erlassen. Das kantonale Gericht hat den streitigen Rentenanspruch nach Massgabe der seit 1. Januar 2003 in Kraft stehenden oder auf diesen Zeitpunkt hin geänderten Rechtsvorschriften geprüft. Es hat somit nicht eine zeitlich getrennte Beurteilung vorgenommen. Dies ist insofern nicht von Bedeutung, als die Begriffe der Arbeitsunfähigkeit, Erwerbsunfähigkeit, Invalidität sowie der Einkommensvergleichsmethode nach Art. 6, 7 und 8 Abs. 1 ATSG sowie <ref-law> im Sinne der bisherigen Rechtsprechung auszulegen und anzuwenden sind (<ref-ruling>). Nach zutreffender Feststellung der Vorinstanz haben im Übrigen die seit 1. Januar 2004 in Kraft stehenden Gesetzes- und Verordnungsänderungen im Rahmen der 4. IV-Revision (vgl. AS 2003 3837 ff. und 3859 ff.) unberücksichtigt zu bleiben.
3. 3.1 Für die Bemessung der Invalidität bei erwerbstätigen Versicherten wird das Erwerbseinkommen, das sie nach Eintritt der Invalidität und nach Durchführung allfälliger Eingliederungsmassnahmen durch eine ihnen zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnten (Invalideneinkommen), in Beziehung gesetzt zum Erwerbseinkommen, das sie erzielen könnten, wenn sie nicht invalid geworden wären (Valideneinkommen; alt <ref-law> und <ref-law>). Der Vergleich hat in der Regel in der Weise zu erfolgen, dass die beiden hypothetischen Erwerbseinkommen ziffernmässig möglichst genau ermittelt und einander gegenübergestellt werden. Aus der Einkommensdifferenz lässt sich der Invaliditätsgrad bestimmen. Insoweit die fraglichen Erwerbseinkommen ziffernmässig nicht genau ermittelt werden können, sind sie nach Massgabe der im Einzelfall bekannten Umstände zu schätzen und die so gewonnenen Annäherungswerte miteinander zu vergleichen. Wird eine Schätzung vorgenommen, so muss diese nicht unbedingt in einer ziffernmässigen Festlegung von Annäherungswerten bestehen. Vielmehr kann auch eine Gegenüberstellung blosser Prozentzahlen genügen. Das ohne Invalidität erzielbare hypothetische Erwerbseinkommen ist alsdann mit 100 % zu bewerten, während das Invalideneinkommen auf einen entsprechend kleineren Prozentsatz veranschlagt wird, so dass sich aus der Prozentdifferenz der Invaliditätsgrad ergibt (allgemeine Methode des Einkommensvergleichs mit den Untervarianten Prozent- und Schätzungsvergleich; <ref-ruling> Erw. 1, 104 V 136 f. Erw. 2b; vgl. auch <ref-ruling> Erw. 3a mit Hinweisen)
3. 3.1 Für die Bemessung der Invalidität bei erwerbstätigen Versicherten wird das Erwerbseinkommen, das sie nach Eintritt der Invalidität und nach Durchführung allfälliger Eingliederungsmassnahmen durch eine ihnen zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnten (Invalideneinkommen), in Beziehung gesetzt zum Erwerbseinkommen, das sie erzielen könnten, wenn sie nicht invalid geworden wären (Valideneinkommen; alt <ref-law> und <ref-law>). Der Vergleich hat in der Regel in der Weise zu erfolgen, dass die beiden hypothetischen Erwerbseinkommen ziffernmässig möglichst genau ermittelt und einander gegenübergestellt werden. Aus der Einkommensdifferenz lässt sich der Invaliditätsgrad bestimmen. Insoweit die fraglichen Erwerbseinkommen ziffernmässig nicht genau ermittelt werden können, sind sie nach Massgabe der im Einzelfall bekannten Umstände zu schätzen und die so gewonnenen Annäherungswerte miteinander zu vergleichen. Wird eine Schätzung vorgenommen, so muss diese nicht unbedingt in einer ziffernmässigen Festlegung von Annäherungswerten bestehen. Vielmehr kann auch eine Gegenüberstellung blosser Prozentzahlen genügen. Das ohne Invalidität erzielbare hypothetische Erwerbseinkommen ist alsdann mit 100 % zu bewerten, während das Invalideneinkommen auf einen entsprechend kleineren Prozentsatz veranschlagt wird, so dass sich aus der Prozentdifferenz der Invaliditätsgrad ergibt (allgemeine Methode des Einkommensvergleichs mit den Untervarianten Prozent- und Schätzungsvergleich; <ref-ruling> Erw. 1, 104 V 136 f. Erw. 2b; vgl. auch <ref-ruling> Erw. 3a mit Hinweisen)
3.2 3.2.1 Die rechnerische Bestimmung von Validen- und Invalideneinkommen hat so konkret wie möglich zu erfolgen. Es ist primär von der beruflich-erwerblichen Situation auszugehen, in welcher die versicherte Person steht. Übt sie nach Eintritt der gesundheitlichen Beeinträchtigung eine Erwerbstätigkeit aus, bei der besonders stabile Arbeitsverhältnisse gegeben sind, ist weiter anzunehmen, dass sie die ihr verbliebene Arbeitsfähigkeit in zumutbarer Weise voll ausschöpft und erscheint das Einkommen aus der Arbeitsleistung als angemessen und nicht als Soziallohn, gilt grundsätzlich der damit erzielte Verdienst als Invalidenlohn (<ref-ruling> Erw. 4.2.1, 126 V 76 Erw. 3b/aa mit Hinweisen).
Bei selbstständigerwerbenden Versicherten im Besonderen fällt die Ermittlung des Invaliditätsgrades aufgrund der konkreten beruflich-erwerblichen Situation namentlich dann ausser Betracht, wenn volks- und betriebswirtschaftliche Faktoren (u.a. Konjunkturlage und -entwicklung, Konkurrenzsituation, Mitarbeit von Familienangehörigen) die Geschäftsergebnisse vor und nach Eintritt des Gesundheitsschadens beeinflussen und die hinreichend genaue Bestimmung der auf dem eigenen Leistungsvermögen beruhenden Einkommensschöpfung nicht zulassen (AHI 1998 S. 254 Erw. 4a; vgl. auch AHI 1998 S. 122 f. Erw. 2c).
3.2.2 Kann der nach Eintritt der gesundheitlichen Beeinträchtigung realisierte Verdienst nicht als Mass für das durch eine zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielbare Einkommen gelten, ist zu fragen, inwiefern der versicherten Person im Rahmen der Pflicht zur Selbsteingliederung (<ref-ruling> Erw. 4a; vgl. auch <ref-ruling> Erw. 3.2) die Aufgabe der aktuellen und die Ausübung einer anderen erwerblichen Beschäftigung zuzumuten ist. Dabei sind die gesamten objektiven und subjektiven Umstände in Betracht zu ziehen, wie Alter, Ausbildung und berufliche Karriere, Stabilität und Qualität des Arbeitsverhältnisses unter dem Gesichtspunkt der Eingliederung im Betrieb, Aussichten im konkreten Beruf, ferner Art und Schwere der gesundheitlichen Beeinträchtigung sowie die noch zu erwartende Arbeitsdauer (AHI 2001 S. 283 Erw. 5a/bb, 1997 S. 39 Erw. 4a). In Anschlag zu bringen ist aber auch die familiäre Situation der versicherten Person (vgl. ZAK 1983 S. 257 Erw. 1, 1968 S. 475 Erw. 4). Bei der Beurteilung der Zumutbarkeit eines Berufswechsels ist schliesslich zu berücksichtigen, dass und soweit Eingliederungsmassnahmen beruflicher Art, insbesondere eine Umschulung, zu Lasten der Invalidenversicherung in Betracht fallen (vgl. AHI 2001 S. 284 oben). Im Rahmen der Pflicht zur Selbsteingliederung ist indessen bei neuen Betätigungen nicht von realitätsfremden Einsatzmöglichkeiten auszugehen (ZAK 1991 S. 320 Erw. 3b, 1989 S. 321 Erw. 4a).
3.2.3 Ist die Aufnahme einer anderen Erwerbstätigkeit als der aktuell ausgeübten nicht zumutbar, kommt bei Selbstständigerwerbenden für die Ermittlung des Invaliditätsgrades ein Einkommensvergleich, allenfalls in Form eines Prozent- oder Schätzungsvergleichs, in der Regel nicht in Frage. Diesfalls ist in Anlehnung an die spezifische Methode für Nichterwerbstätige (alt <ref-law> und alt <ref-law>) zu-nächst anhand eines Betätigungsvergleichs die leidensbedingte Behinderung festzustellen und diese sodann im Hinblick auf ihre erwerbliche Auswirkung in der konkreten beruflichen Situation besonders zu gewichten (ausserordentliches Bemessungsverfahren; <ref-ruling> Erw. 1, 104 V 137 Erw. 2c mit Hinweisen).
3.2.3 Ist die Aufnahme einer anderen Erwerbstätigkeit als der aktuell ausgeübten nicht zumutbar, kommt bei Selbstständigerwerbenden für die Ermittlung des Invaliditätsgrades ein Einkommensvergleich, allenfalls in Form eines Prozent- oder Schätzungsvergleichs, in der Regel nicht in Frage. Diesfalls ist in Anlehnung an die spezifische Methode für Nichterwerbstätige (alt <ref-law> und alt <ref-law>) zu-nächst anhand eines Betätigungsvergleichs die leidensbedingte Behinderung festzustellen und diese sodann im Hinblick auf ihre erwerbliche Auswirkung in der konkreten beruflichen Situation besonders zu gewichten (ausserordentliches Bemessungsverfahren; <ref-ruling> Erw. 1, 104 V 137 Erw. 2c mit Hinweisen).
4. Das kantonale Gericht hat aufgrund eines Einkommensvergleichs einen Invaliditätsgrad von 65,9 % ermittelt, was Anspruch auf eine halbe Invalidenrente gibt (alt <ref-law>). Das Valideneinkommen (Fr. 54'104.65) und das Invalideneinkommen (Fr. 18'460.-) entsprechen dem durchschnittlichen Geschäftsergebnis 1995-1997 (Fr. 58'784.65) resp. 1998-2000 (Fr. 41'860.-), je vermindert um den Einkommensanteil der Ehefrau für ihre unentgeltliche Mitarbeit im Betrieb (Fr. 4680.- und Fr. 23'400.-).
Für die Bestimmung des hypothetischen Verdienstes der Ehefrau im Besonderen hat die Vorinstanz auf die Angaben der Metzger-Treuhand AG (Treuhandgesellschaft des Verbandes Schweizer Metzgermeister) vom 16. April 2003 abgestellt. Danach bewegt sich der Bruttolohn einer weiblichen Angestellten mit 12-jähriger Berufserfahrung mit zusätzlicher Erfahrung im Fleischverkauf und Weiterbildung im administrativen Bereich in der Praxis zwischen Fr. 3600.- bis Fr. 4000.-. Im Wesentlichen mit der Begründung, die Metzgerei des Versicherten in Y._ befinde sich in einer Randregion, wo die Löhne im Allgemeinen unter dem gesamtschweizerischen Durchschnitt lägen, nahm die Vorinstanz Fr. 3600.- an. Bei einem vor/nach Eintritt des Gesundheitsschadens beim Ehegatten mit spürbaren Auswirkungen auf die Arbeitsfähigkeit geleisteten Arbeitspensum von 10 %/50 % ergeben sich vom durchschnittlichen Geschäftsergebnis 1995-997 resp. 1998-2000 in Abzug zu bringende Fr. 4680.-/Fr. 23'400.-.
Für die Bestimmung des hypothetischen Verdienstes der Ehefrau im Besonderen hat die Vorinstanz auf die Angaben der Metzger-Treuhand AG (Treuhandgesellschaft des Verbandes Schweizer Metzgermeister) vom 16. April 2003 abgestellt. Danach bewegt sich der Bruttolohn einer weiblichen Angestellten mit 12-jähriger Berufserfahrung mit zusätzlicher Erfahrung im Fleischverkauf und Weiterbildung im administrativen Bereich in der Praxis zwischen Fr. 3600.- bis Fr. 4000.-. Im Wesentlichen mit der Begründung, die Metzgerei des Versicherten in Y._ befinde sich in einer Randregion, wo die Löhne im Allgemeinen unter dem gesamtschweizerischen Durchschnitt lägen, nahm die Vorinstanz Fr. 3600.- an. Bei einem vor/nach Eintritt des Gesundheitsschadens beim Ehegatten mit spürbaren Auswirkungen auf die Arbeitsfähigkeit geleisteten Arbeitspensum von 10 %/50 % ergeben sich vom durchschnittlichen Geschäftsergebnis 1995-997 resp. 1998-2000 in Abzug zu bringende Fr. 4680.-/Fr. 23'400.-.
5. Die vorinstanzliche Invaliditätsbemessung überzeugt nicht in allen Teilen. Vorab sind Validen- und Invalideneinkommen auf zeitidentischer Grundlage zu ermitteln (<ref-ruling>). Dies trifft insofern nicht zu, als das kantonale Gericht beim Valideneinkommen auf die durchschnittlichen Geschäftsergebnisse 1995-1997 und beim Invalideneinkommen auf den entsprechenden Betrag für 1998-2000 abstellt. In diesem Zusammenhang ist zu beachten, dass die durchschnittlichen Betriebsgewinne 1995-1997 und 1998-2000 auf den Zeitpunkt des Einkommensvergleichs (vgl. dazu <ref-ruling>) an die Teuerung und die reale Einkommensentwicklung nach oben resp. unten anzupassen sind (ZAK 1990 S. 517 und RKUV 1993 Nr. U 168 S. 101 Erw. 3b in fine).
Im Weitern legt das kantonale Gericht nicht schlüssig dar, weshalb beim hypothetischen Verdienst der Ehefrau des Versicherten auf den untersten Wert der Bandbreite von Fr. 3600.- bis Fr. 4000.- abzustellen ist. Die Begründung dafür, die Metzgerei liege in einer Randregion, kann in dieser pauschalen Form schon deshalb nicht genügen, weil Y._ eine Stadt und, wie die IV-Stelle festhält, verkehrsmässig sehr gut erschlossen ist. Es kommt dazu, dass gemäss Schreiben der Metzger-Treuhand AG vom 16. April 2003 der monatliche Bruttolohn für weibliches Hilfspersonal (ohne Berufslehre) Fr. 3896.- beträgt. Dies lässt die von der Vorinstanz angenommenen Fr. 3600.- ebenfalls als zu tief erscheinen. Im Übrigen ist unklar, welche Arbeiten die Ehefrau des Versicherten im Einzelnen verrichtete. Es nicht auszuschliessen, dass sie mit der Erhöhung des Arbeitspensums von 10 % auf 50 % im Zuge der sich stärker bemerkbar machenden gesundheitlichen Beeinträchtigungen ihres Ehemannes auch Aufgaben von ihm übernommen hat.
Die erwähnten Kritikpunkte und aufgeworfenen Fragen gewinnen noch an Bedeutung, wenn berücksichtigt wird, dass der vom kantonalen Gericht ermittelte Invaliditätsgrad von 65,9 % nur wenig unter der Grenze von 66 2/3 % liegt.
Die erwähnten Kritikpunkte und aufgeworfenen Fragen gewinnen noch an Bedeutung, wenn berücksichtigt wird, dass der vom kantonalen Gericht ermittelte Invaliditätsgrad von 65,9 % nur wenig unter der Grenze von 66 2/3 % liegt.
6. Der von der Vorinstanz ermittelte Invaliditätsgrad kann aber auch aus folgendem Grund nicht bestätigt werden.
6.1 Die IV-Stelle bringt in ihrer Vernehmlassung vor, entgegen ihrer noch im Einspracheentscheid vertretenen Auffassung könne das Invalideneinkommen nicht mit dem 1998 bis 2000 durchschnittlich erzielten Verdienst (Geschäftsergebnis [Fr. 18'460.-]) gleichgesetzt werden. Der Versicherte schöpfe zwar seine verbliebene Arbeitsfähigkeit mit der 50%igen (selbstständigen) Tätigkeit als Metzger aus medizinischer, nicht aber aus erwerblicher Sicht voll aus. Vielmehr könnte er mit einer zumutbaren Tätigkeit als Unselbstständigerwerbender ein höheres Einkommen erzielen als Fr. 18'460.-. Auf Grund der Umstände, insbesondere Alter, verbleibende Aktivitätsdauer, Erwerbstätigkeit der Ehefrau und schulpflichtige Kinder sowie guter Anschluss an die öffentlichen Verkehrsmittel, sei dem Versicherten zuzumuten, «seine (unlukrative) selbständige Erwerbstätigkeit aufzugeben und stattdessen eine unselbständige Erwerbstätigkeit aufzunehmen».
Die IV-Stelle hat auf der Grundlage der Schweizerischen Lohnstrukturerhebung 2000 des Bundesamtes für Statistik (LSE 00) unter Berücksichtigung eines Abzuges vom Tabellenlohn von 15 % (vgl. <ref-ruling>) ein Invalideneinkommen von Fr. 28'284.91 ([12 x Fr. 4437.-] x 41,7/40 x 0,5995 [Arbeitsfähigkeit] x 0,85; vgl. LSE 00 S. 31 TA1 und <ref-ruling> Erw. 4.3.2) ermittelt. Daraus resultiert bei einem Valideneinkommen von Fr. 54'884.65 ein Invaliditätsgrad von 48,46 %, was Anspruch auf eine Viertelsrente gibt (<ref-law>).
6.2 Die von der IV-Stelle genannten Gründe sprechen in der Tat für die Zumutbarkeit der Aufgabe der selbstständigen Tätigkeit als Metzger zugunsten einer unselbstständigen, dem Leiden angepassten Tätigkeit. Insbesondere aufgrund des Alters und der familiären Situation - der Beschwerdeführer hat Jahrgang 1969 und seine Kinder stehen im schulpflichtigen Alter - ist dem Versicherten invalidenversicherungsrechtlich dieser Schritt zuzumuten. Was hiegegen vorgebracht wird, gibt zu keiner anderen Betrachtungsweise Anlass. Der Einwand, der Beschwerdeführer habe gerade im Hinblick auf eine bestmögliche Adaptierung im eigenen Betrieb investiert, wird nicht näher substanziiert. Es ist somit von der grundsätzlichen Zumutbarkeit eines Berufswechsels auszugehen. Dabei ist die Aufgabe der selbstständigen Tätigkeit als Metzger nicht mit dem Verkauf des Betriebes gleichzusetzen.
6.3 Der Beschwerdeführer bestreitet die Verwertbarkeit der verbliebenen Arbeitsfähigkeit auf dem allgemeinen ausgeglichenen Arbeitsmarkt. Aufgrund seiner körperlichen Beschwerden sei es ihm schlechterdings nicht möglich, sich in eine andere Arbeitsorganisation einzugliedern, da er immer nur ganz kurz in einer Position verharren könne. Dem werde mit einer wechselbelastenden Tätigkeit im Rahmen eines Arbeitspensums von 59,95 % zu wenig Rechnung getragen, weil er sich auch immer wieder hinlegen müsse. Es seien keine ausserberuflichen Möglichkeiten ersichtlich, welche eine bessere Integration als im eigenen Metzgereibetrieb gewährleisteten.
6.3.1 Die IV-Stelle hatte auch die beruflichen Eingliederungsmöglichkeiten abklären lassen. Im Bericht des Berufberaters vom 20. Juli 2001 wurde unter anderem ausgeführt, berufliche Massnahmen seien über längere Zeit mit dem Versicherten besprochen und erwogen worden. Aus psychiatrischer Sicht seien solche Vorkehren zur Zeit nicht angezeigt. Die Arbeitsfähigkeit könnte durch eine Umschulung nicht erhöht werden. Die behandelnden Ärzte seien der Überzeugung, dass die jetzige berufliche Situation (Weiterführung des Metzgereibetriebes unter tatkräftiger Mithilfe der Ehefrau) der gesamten gesundheitlichen Lage am besten Rechnung trage.
Die behandelnden Ärzte verneinten somit im damaligen Zeitpunkt die Eingliederungsfähigkeit aus gesundheitlichen Gründen, was im Übrigen Voraussetzung für die Zusprechung einer Rente war (<ref-ruling> Erw. 4a). Ob sich bis zu dem den Prüfungszeitraum begrenzenden Einspracheentscheid vom 14. November 2003 (<ref-ruling> Erw. 1.2, 116 V 248 Erw. 1a) daran etwas änderte, kann aufgrund der Akten nicht gesagt werden. Der letzte ärztliche Bericht datiert vom 29. November 2000.
6.3.2 Arbeitsfähigkeit in bedeutendem Umfang und Eingliederungsunfähigkeit schliessen sich nicht zwingend aus. Für die Invaliditätsbemessung bedeutet dies indessen nicht, dass ohne weiteres auf die Abklärung der gesundheitlich bedingt noch in Betracht fallenden Erwerbtätigkeiten verzichtet werden kann. Das gilt im Besonderen, wenn das gleiche Leiden die Arbeitsfähigkeit einschränkt resp. in bedeutendem Umfang eben nicht einschränkt und gleichzeitig eine an sich notwendige berufliche Eingliederung überhaupt nicht zulässt. Dass die versicherte Person erwerbstätig sein kann, eine Massnahme beruflicher Art hingegen aus gesundheitlichen Gründen nicht in Betracht fällt, wirft namentlich unter psychiatrischem Gesichtswinkel die Frage nach der Verwertbarkeit der Arbeitsfähigkeit in dem in Betracht fallenden Arbeitsmarktsegment auf. Abklärungen in dieser Hinsicht drängen sich umso mehr auf, wenn das angestammte Berufsfeld eng ist und die Art der gesundheitlichen Beeinträchtigung weitere Restriktionen in dem auch ohne Eingliederungsmassnahmen zumutbaren erwerblichen Bereich erwarten lässt. Unter diesen Umständen geht es nicht an, grundsätzlich alle einfachen und repetitiven Tätigkeiten mit dem tiefsten Anforderungsniveau 4 gemäss den Lohnstrukturerhebungen des Bundesamtes für Statistik als zumutbar zu bezeichnen und das Invalideneinkommen auf der Grundlage der entsprechenden Durchschnittslöhne zu berechnen. Wird aus medizinisch-theoretischer Sicht eine Arbeitsfähigkeit in bedeutendem Umfang bejaht, gleichzeitig die Eingliederungsfähigkeit aber verneint, ist mithin genau abzuklären, welche konkreten Tätigkeiten effektiv noch zumutbar sind sowohl für die versicherte Person als auch aus Sicht des Arbeitsmarktes (AHI 2001 S. 228 Erw. 2b; vgl. auch <ref-ruling> Erw. 4c in fine; Urteil H. vom 5. Dezember 2003 [I 605/03] Erw. 5.3.1).
Auf Grund der Akten leidet der Versicherte an einer anhaltenden somatoformen Schmerzstörung bei posttraumatischer Belastungsstörung. Differenzialdiagnostisch besteht ein Fibromyalgiesyndrom. Ab Mai 1998 wurde eine ambulante psychotherapeutische Behandlung durchgeführt, ohne dass allerdings eine anhaltende Besserung eingetreten wäre (Bericht Dr. med. T._ vom 29. November 2000). Da der Versicherte immer als Metzger arbeitete, muss sodann das angestammte Berufsfeld als eng bezeichnet werden. Daran ändert nichts, dass er seit 1991 selbstständig eine Metzgerei führt. Beschwerdebild und bisheriges berufliches Betätigungsfeld erfordern somit im Lichte des Vorstehenden genaueren Aufschluss darüber, welche konkreten Tätigkeiten als unselbstständig Erwerbender effektiv in Betracht fallen. Insoweit ist der rechtserhebliche Sachverhalt ungenügend abgeklärt und die Sache nicht spruchreif.
Die IV-Stelle wird die notwendigen Erhebungen vorzunehmen haben und danach über den Rentenanspruch neu verfügen.
Die IV-Stelle wird die notwendigen Erhebungen vorzunehmen haben und danach über den Rentenanspruch neu verfügen.
7. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer Anspruch auf eine unter anderem nach dem Vertretungsaufwand bemessene Parteientschädigung (Art. 159 OG in Verbindung mit Art. 135 OG, Art. 2 Abs. 1 des Tarifs über die Entschädigungen an die Gegenpartei für das Verfahren vor dem Eidgenössischen Versicherungsgericht und Art. 160 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Verwaltungsgericht des Kantons Graubünden vom 25. Juni 2004 und der Einspracheentscheid vom 14. November 2003 aufgehoben werden und die Sache an die IV-Stelle des Kantons Graubünden zurückgewiesen wird, damit sie nach Abklärungen im Sinne der Erwägungen über den Rentenanspruch des Beschwerdeführers neu verfüge. Im Übrigen wird die Verwaltungsgerichtsbeschwerde abgewiesen, soweit darauf einzutreten ist.
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Verwaltungsgericht des Kantons Graubünden vom 25. Juni 2004 und der Einspracheentscheid vom 14. November 2003 aufgehoben werden und die Sache an die IV-Stelle des Kantons Graubünden zurückgewiesen wird, damit sie nach Abklärungen im Sinne der Erwägungen über den Rentenanspruch des Beschwerdeführers neu verfüge. Im Übrigen wird die Verwaltungsgerichtsbeschwerde abgewiesen, soweit darauf einzutreten ist.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Die IV-Stelle des Kantons Graubünden hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 3000.- (einschliesslich Mehrwertsteuer) zu bezahlen.
3. Die IV-Stelle des Kantons Graubünden hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 3000.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Das Verwaltungsgericht des Kantons Graubünden hat über die Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden.
4. Das Verwaltungsgericht des Kantons Graubünden hat über die Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden, der Ausgleichskasse des Kantons Graubünden und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 6. Juni 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer: Der Gerichtsschreiber: