Sachverhalt:
Sachverhalt:
A. Mit Verfügung vom 5. Mai 1999 sprach die IV-Stelle des Kantons Appenzell Ausserrhoden dem 1948 geborenen F._ mit Wirkung ab 1. April 1999 eine halbe Invalidenrente zu. Diese wurde mit unangefochten gebliebener Verfügung vom 7. November 2000 auf Ende 2000 aufgehoben. Die Rente wurde jedoch irrtümlich weiter ausbezahlt. Nachdem der Fehler bemerkt worden war, forderte die Ausgleichskasse des Kantons Appenzell Ausserrhoden die Rückerstattung der von Januar 2001 bis Oktober 2002 fälschlich ausgerichteten Leistungen im Betrag von Fr. 29'458.- (Verfügung vom 4. November 2002).
A. Mit Verfügung vom 5. Mai 1999 sprach die IV-Stelle des Kantons Appenzell Ausserrhoden dem 1948 geborenen F._ mit Wirkung ab 1. April 1999 eine halbe Invalidenrente zu. Diese wurde mit unangefochten gebliebener Verfügung vom 7. November 2000 auf Ende 2000 aufgehoben. Die Rente wurde jedoch irrtümlich weiter ausbezahlt. Nachdem der Fehler bemerkt worden war, forderte die Ausgleichskasse des Kantons Appenzell Ausserrhoden die Rückerstattung der von Januar 2001 bis Oktober 2002 fälschlich ausgerichteten Leistungen im Betrag von Fr. 29'458.- (Verfügung vom 4. November 2002).
B. Die daraufhin beim Verwaltungsgericht Appenzell Ausserrhoden erhobene Beschwerde wurde von diesem mit Entscheid vom 21. Mai 2003 abgewiesen.
B. Die daraufhin beim Verwaltungsgericht Appenzell Ausserrhoden erhobene Beschwerde wurde von diesem mit Entscheid vom 21. Mai 2003 abgewiesen.
C. F._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, die Rückerstattungsverfügung vom 4. November 2002 sei aufzuheben und es sei ihm ab Januar 2001 zumindest eine Viertelsrente zuzusprechen.
Die Ausgleichskasse des Kantons Appenzell Ausserrhoden und das Bundesamt für Sozialversicherung verzichten auf eine Stellungnahme.
Die Ausgleichskasse des Kantons Appenzell Ausserrhoden und das Bundesamt für Sozialversicherung verzichten auf eine Stellungnahme.
D. Mit Schreiben vom 8. März 2004 gab die Ausgleichskasse dem Eidgenössischen Versicherungsgericht davon Kenntnis, dass die IV-Stelle mit Verfügung vom 3. März 2004 F._ mit Wirkung ab 1. Januar 2001 eine Viertelsrente der Invalidenversicherung zugesprochen hat. Die Ausgleichskasse erliess daraufhin am 8. März 2004 eine neue Rückerstattungsverfügung.
Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Die Verfügung vom 7. November 2000, durch welche die Invalidenrente aufgehoben wurde, ist unangefochten in Rechtskraft erwachsen. Der vor der Vorinstanz noch geltend gemachte und von dieser in ihrem Entscheid behandelte angebliche Mangel bei der Zustellung wird im letztinstanzlichen Verfahren nicht mehr vorgebracht. Anfechtungsgegenstand im vorliegenden Verfahren bildet demnach einzig die Rückerstattungsverfügung vom 4. November 2002, deren Inhalt zugleich den Streitgegenstand umschreibt (BGE 125 V 414 Erw. 1, 119 Ib 36 Erw. 1b, je mit Hinweisen).
Das Bestehen oder Nichtbestehen eines Anspruches des Beschwerdeführers auf eine Rente der Invalidenversicherung gehört nicht zum Anfechtungsgegenstand und kann daher im vorliegenden Verfahren nicht beurteilt werden. Auf den diesbezüglichen Antrag wird nicht eingetreten.
Das Bestehen oder Nichtbestehen eines Anspruches des Beschwerdeführers auf eine Rente der Invalidenversicherung gehört nicht zum Anfechtungsgegenstand und kann daher im vorliegenden Verfahren nicht beurteilt werden. Auf den diesbezüglichen Antrag wird nicht eingetreten.
2. 2.1 Nach Art. 108 Abs. 2 OG hat die Verwaltungsgerichtsbeschwerde unter anderem die Begehren und deren Begründung mit Angabe der Beweismittel zu enthalten. Diese Bestimmung soll dem Gericht hinreichende Klarheit darüber verschaffen, worum es beim Rechtsstreit geht. Nach der Praxis genügt es, wenn dies der Verwaltungsgerichtsbeschwerde insgesamt entnommen werden kann. Insbesondere muss zumindest aus der Beschwerdebegründung ersichtlich sein, was die Beschwerde führende Person verlangt und auf welche Tatsachen sie sich beruft. Die Begründung braucht nicht zuzutreffen, aber sie muss sachbezogen sein. Der blosse Hinweis auf frühere Rechtsschriften oder auf den angefochtenen Entscheid genügt nicht. Fehlt der Antrag oder die Begründung überhaupt und lassen sie sich auch nicht der Beschwerdeschrift entnehmen, so liegt keine rechtsgenügliche Beschwerde vor, weshalb auf sie nicht eingetreten werden kann (BGE 123 V 336 Erw. 1a mit Hinweisen).
2.2 Die Beschwerdeschrift enthält den Antrag, die Rückerstattungsverfügung sei aufzuheben. Nachdem die leistungsbeendende Verfügung vom 7. November 2000 nicht angefochten wurde, müsste sich eine sachbezogene Begründung auf die Rückerstattung selbst beziehen. In der Verwaltungsgerichtsbeschwerde wird aber lediglich summarisch begründet, weshalb die Bestimmung des Invaliditätsgrades in der Verfügung vom 7. November 2000 nicht zutreffe. Es werden keine Gründe genannt, welche die Rechtmässigkeit der Rückerstattungsverfügung selbst betreffen würden, und es ist keine Auseinandersetzung mit dem Entscheid des kantonalen Gerichts erkennbar. Die Begründung geht damit am eigentlichen Streitgegenstand vorbei. Somit liegt keine rechtsgenügliche Beschwerde im Sinn von Art. 108 Abs. 2 OG vor. Die Ansetzung einer Nachfrist zur Verbesserung der Begründung gemäss Art. 108 Abs. 3 OG ist ausgeschlossen, da diese Bestimmung voraussetzt, dass zumindest eine - wenn auch unklare - Begründung in der Sache vorliegt (BGE 104 V 178, 101 V 18 Erw. 1). Auf die Beschwerde kann daher auch im Punkt der Rückerstattung nicht eingetreten werden.
2.2 Die Beschwerdeschrift enthält den Antrag, die Rückerstattungsverfügung sei aufzuheben. Nachdem die leistungsbeendende Verfügung vom 7. November 2000 nicht angefochten wurde, müsste sich eine sachbezogene Begründung auf die Rückerstattung selbst beziehen. In der Verwaltungsgerichtsbeschwerde wird aber lediglich summarisch begründet, weshalb die Bestimmung des Invaliditätsgrades in der Verfügung vom 7. November 2000 nicht zutreffe. Es werden keine Gründe genannt, welche die Rechtmässigkeit der Rückerstattungsverfügung selbst betreffen würden, und es ist keine Auseinandersetzung mit dem Entscheid des kantonalen Gerichts erkennbar. Die Begründung geht damit am eigentlichen Streitgegenstand vorbei. Somit liegt keine rechtsgenügliche Beschwerde im Sinn von Art. 108 Abs. 2 OG vor. Die Ansetzung einer Nachfrist zur Verbesserung der Begründung gemäss Art. 108 Abs. 3 OG ist ausgeschlossen, da diese Bestimmung voraussetzt, dass zumindest eine - wenn auch unklare - Begründung in der Sache vorliegt (BGE 104 V 178, 101 V 18 Erw. 1). Auf die Beschwerde kann daher auch im Punkt der Rückerstattung nicht eingetreten werden.
3. Der neuen rentenzusprechenden Verfügung vom 3. März 2004 ist zu entnehmen, dass damit im Rahmen des Einspracheverfahrens eine Verfügung vom 9. Juli 2003 in Wiedererwägung gezogen wurde (Art. 53 Abs. 2 ATSG). Diese beiden im Rahmen einer neuen Anmeldung zum Rentenbezug ergangenen Verfügungen haben wohl einen faktischen, aber keinen rechtlichen Bezug zum vorliegenden Verfahren und bleiben ausser Betracht.
Die IV-Stelle hat in der Folge am 8. März 2004 eine neue Rückerstattungsverfügung erlassen. Deren Ingress lautet: "Ersetzt unsere Rückerstattungsverfügung vom 4. November 2002." Aufgrund dieses Satzes wäre anzunehmen, dass die Verwaltung lite pendente die hier streitige Verfügung in Wiedererwägung gezogen hat. Ein solches Vorgehen wäre unzulässig, weil das OG keine auf das Verfahren der Verwaltungsgerichtsbeschwerde anwendbare Bestimmung kennt, welche den Devolutiveffekt (den Übergang der funktionellen Zuständigkeit für die Sache an die angerufene Instanz) in gleicher Weise wie Art. 58 VwVG für das Verwaltungsbeschwerdeverfahren einschränken würde. Eine Anwendung von Art. 53 Abs. 3 ATSG, welcher den Versicherungsträgern eine begrenzte Möglichkeit zur Wiedererwägung angefochtener Verfügungen einräumt, ist aufgrund von Art. 62 Abs. 1 ATSG ausgeschlossen, da nach dieser Bestimmung für das Verfahren vor dem Eidgenössischen Versicherungsgericht das Bundesrechtspflegegesetz (OG) Anwendung findet.
Allerdings liegt materiell gar keine Wiedererwägung vor, geht doch die Rückerstattungsverfügung vom 8. März 2004 durchaus vom Bestand derjenigen vom 4. November 2002 aus, auch in betraglicher Hinsicht, und nimmt lediglich - im Hinblick auf die inzwischen rückwirkend zugesprochene Rente - eine Verrechnung vor.
Allerdings liegt materiell gar keine Wiedererwägung vor, geht doch die Rückerstattungsverfügung vom 8. März 2004 durchaus vom Bestand derjenigen vom 4. November 2002 aus, auch in betraglicher Hinsicht, und nimmt lediglich - im Hinblick auf die inzwischen rückwirkend zugesprochene Rente - eine Verrechnung vor.
4. In Anwendung von Art. 134 OG ist das Verfahren kostenfrei, da der Begriff der Bewilligung oder Verweigerung von Versicherungsleistungen nach ständiger Rechtsprechung auch die Frage der Rückerstattung zu Unrecht ausbezahlter Leistungen einschliesst (BGE 122 V 136 Erw. 1).
Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Auf die Verwaltungsgerichtsbeschwerde wird nicht eingetreten.
1. Auf die Verwaltungsgerichtsbeschwerde wird nicht eingetreten.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht von Appenzell Ausserrhoden, der IV-Stelle des Kantons Appenzell Ausserrhoden und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 31. August 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer: Der Gerichtsschreiber: