Sachverhalt:
Mit Verfügung vom 10. November 1995 lehnte die IV-Stelle des Kantons Appenzell Ausserrhoden das Gesuch von D._ (geb. 1965) um IV-Leistungen ab. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht von Appenzell Ausserrhoden mit Entscheid vom 19. Juni 1996 ab. Auf Verwaltungsgerichtsbeschwerde hin wies das Eidgenössische Versicherungsgericht die Sache mit Urteil vom 29. September 1999 zu näheren Abklärungen im Sinne der Erwägungen an das kantonale Gericht zurück. Dieses lehnte den Leistungsanspruch von D._ mit Entscheid vom 22. November 2000 erneut ab. Die dagegen erhobene Verwaltungsgerichtsbeschwerde wies das Eidgenössische Versicherungsgericht mit Urteil vom 29. April 2002 ab.
Auf Grund eines neuen Gesuchs lehnte die IV-Stelle den Rentenanspruch von D._ mit Verfügung vom 15. Januar 2003 ab. Diese Verfügung bestätigte die IV-Stelle mit Einspracheentscheid vom 18. Juli 2003.
Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht von Appenzell Ausserrhoden mit Entscheid vom 24. März 2004 ab.
D._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, die Sache sei zur Neubeurteilung an die IV-Stelle zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Das kantonale Verwaltungsgericht hat die gesetzlichen Bestimmungen zum Begriff der Invalidität (<ref-law>; <ref-law>), zum Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG in der bis Ende 2003 gültig gewesenen Fassung) und zur Ermittlung des Invaliditätsgrades nach der Methode des Einkommensvergleichs (<ref-law>; vgl. auch altArt. 28 Abs. 2 IVG) richtig dargelegt. Darauf wird verwiesen. Zu ergänzen ist, dass die am 1. Januar 2004 in Kraft getretenen Änderungen des Bundesgesetzes über die Invalidenversicherung vom 21. März 2003 und der Verordnung über die Invalidenversicherung vom 21. Mai 2003 vorliegend nicht zur Anwendung gelangen (<ref-ruling> Erw. 1.2).
1. Das kantonale Verwaltungsgericht hat die gesetzlichen Bestimmungen zum Begriff der Invalidität (<ref-law>; <ref-law>), zum Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG in der bis Ende 2003 gültig gewesenen Fassung) und zur Ermittlung des Invaliditätsgrades nach der Methode des Einkommensvergleichs (<ref-law>; vgl. auch altArt. 28 Abs. 2 IVG) richtig dargelegt. Darauf wird verwiesen. Zu ergänzen ist, dass die am 1. Januar 2004 in Kraft getretenen Änderungen des Bundesgesetzes über die Invalidenversicherung vom 21. März 2003 und der Verordnung über die Invalidenversicherung vom 21. Mai 2003 vorliegend nicht zur Anwendung gelangen (<ref-ruling> Erw. 1.2).
2. Streitig und zu prüfen ist der Invaliditätsgrad.
2.1 Gemäss dem Gutachten von Dr. med. E._, Chefarzt am Zentrum X._, vom 20. März 2002 ist der Beschwerdeführer auf Grund einer somatoformen Schmerzstörung in einer geeigneten Tätigkeit zu 10 bis höchstens 20% in der Arbeitsfähigkeit eingeschränkt. Mangels objektivierbarer Kriterien handle es sich dabei um einen Erfahrungswert, der ausschliesslich auf den Angaben des Versicherten beruhe. Es gebe keine Hinweise, dass es seit 1995 zu einer Verschlechterung gekommen sei.
2.2 Der Beschwerdeführer bestreitet das Gutachten von Dr. E._ aus psychiatrischer Sicht nicht. Vielmehr macht er geltend, die somatischen Leiden seien nicht ausreichend abgeklärt worden, und verweist auf einen von seinem Rechtsvertreter eingeholten Bericht von Dr. med. T._, Klinik L._, vom 20. August 2003. Demnach habe keine schulmedizinische Diagnose gestellt werden können. Dr. T._ sei überzeugt, dass der Sturz vom Mai 1993 und möglicherweise die Arthroskopien eine Verkrampfung gewisser Muskelketten verursacht habe, die zu einer weiter bestehenden Muskeldysbalance geführt habe. Dadurch seien die Schmerzen an der Muskulatur um das Kniegelenk herum und über die linksseitige Wirbelsäule bis in die linke Schulter und den linken Nacken zu erklären. Die gesundheitliche Beeinträchtigung sei mässigen Grades. Die Arbeitsunfähigkeit auf dem Bau betrage 100%; wie weit der Versicherte in sitzender Stellung arbeitsfähig sei, lasse sich nur schwer beurteilen. Das Sitzen allein bereite ihm keine Schmerzen. Mit einer intensiven Myoreflextherapie sei vielleicht eine Verbesserung der Arbeitsfähigkeit zu erzielen. Die Arbeitsunfähigkeit bestehe nicht generell; allerdings müsste eine passende Tätigkeit erst gefunden werden. Beim Versicherten kämen zwei ungünstige Faktoren hinzu: einerseits sei er ausserordentlich schmerzempfindlich. Anderseits leide er darunter, dass er als psychogen abgestempelt worden sei und sich gegen diese Unterstellung jahrelang massiv zur Wehr gesetzt habe.
2.3 Entgegen den Vorbringen in der Verwaltungsgerichtsbeschwerde bietet der Bericht von Dr. T._ keinen Anlass, weitere Abklärungen anzuordnen. Auch dieser Arzt vermag keine Diagnose zu stellen. Die von ihm geschilderten Schmerzen haben bereits Eingang ins Gutachten von Dr. E._ gefunden. Auch Dr. T._ bestreitet nicht, dass lediglich eine mässige Beeinträchtigung des Gesundheitszustandes und in einer angepassten Tätigkeit keine volle Arbeitsunfähigkeit vorliege. Im Weiteren weicht Dr. T._ einer genauen Bezifferung der in zumutbaren Berufen verbliebenen Arbeitsfähigkeit aus. Auch er verweist auf die Schwierigkeiten, welche der Beschwerdeführer mit der Bewältigung der bisherigen Prozessgeschichten habe. Unter solchen Umständen sind von weiteren Abklärungen keine zusätzlichen Erkenntnisse zu erwarten.
2.4 Nach dem Gesagten ist erstellt, dass der Beschwerdeführer in einer leichten Arbeit noch eine Leistung von 80-90% zu erbringen vermag. Der von der Verwaltung vorgenommene, vorinstanzlich bestätigte Lohnvergleich ergab einen Invaliditätsgrad von 28%. Was der Versicherte hiegegen vorbringt, ist nicht stichhaltig. Namentlich rechtfertigt sich beim hypothetischen Invalideneinkommen kein Maximalabzug von 25% von den Tabellenlöhnen, nachdem die IV-Stelle dem Beschwerdeführer bereits dadurch entgegengekommen ist, dass sie von einer Arbeitsfähigkeit von lediglich 80% ausging und überdies einen Abzug von 10% gewährte, obwohl Dr. E._ die Arbeitsunfähigkeit nur auf 10 bis 20% beziffert hat.
2.4 Nach dem Gesagten ist erstellt, dass der Beschwerdeführer in einer leichten Arbeit noch eine Leistung von 80-90% zu erbringen vermag. Der von der Verwaltung vorgenommene, vorinstanzlich bestätigte Lohnvergleich ergab einen Invaliditätsgrad von 28%. Was der Versicherte hiegegen vorbringt, ist nicht stichhaltig. Namentlich rechtfertigt sich beim hypothetischen Invalideneinkommen kein Maximalabzug von 25% von den Tabellenlöhnen, nachdem die IV-Stelle dem Beschwerdeführer bereits dadurch entgegengekommen ist, dass sie von einer Arbeitsfähigkeit von lediglich 80% ausging und überdies einen Abzug von 10% gewährte, obwohl Dr. E._ die Arbeitsunfähigkeit nur auf 10 bis 20% beziffert hat.
3. Die Verwaltungsgerichtsbeschwerde ist offensichtlich unbegründet und wird im Verfahren nach Art. 36a OG erledigt.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht von Appenzell Ausserrhoden und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 13. Januar 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: