Sachverhalt:
Mit Verfügung vom 10. November 1995 lehnte die IV-Stelle des Kantons Appenzell Ausserrhoden das Gesuch von D._ (geb. 1965) um IV-Leistungen ab. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht von Appenzell Ausserrhoden mit Entscheid vom 19. Juni 1996 ab. Auf Verwaltungsgerichtsbeschwerde hin wies das Eidgenössische Versicherungsgericht die Sache mit Urteil vom 29. September 1999 zu näheren Abklärungen im Sinne der Erwägungen an das kantonale Gericht zurück. Dieses lehnte den Leistungsanspruch von D._ mit Entscheid vom 22. November 2000 erneut ab. Die dagegen erhobene Verwaltungsgerichtsbeschwerde wies das Eidgenössische Versicherungsgericht mit Urteil vom 29. April 2002 ab.
Auf ein neues Leistungsgesuch von D._ hin bejahte die IV-Stelle mit Verfügung vom 19. Juli 2002 den Anspruch auf Berufsberatung und Arbeitsvermittlung, hob diesen aber mit Verfügung vom 15. Januar 2003 wegen fehlender Bereitschaft von D._ zur Mitarbeit wieder auf. Diese Verfügung bestätigte die IV-Stelle mit Einspracheentscheid vom 17. Juli 2003. Gleichzeitig verneinte sie einen Anspruch auf medizinische Massnahmen.
Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht von Appenzell Ausserrhoden mit Entscheid vom 24. März 2004 ab.
D._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, die Sache sei zur Neubeurteilung des Anspruchs auf Eingliederungsmassnahmen an die IV-Stelle zurückzuweisen.
Die IV-Stelle beantragt, die Sache sei bezüglich medizinischer Massnahmen zu neuer Verfügung an sie zurückzuweisen; eventuell sei der Anspruch auf die genannten Vorkehren zu verneinen. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Das kantonale Verwaltungsgericht hat die gesetzlichen Bestimmungen zum Anspruch auf Eingliederungsmassnahmen im Allgemeinen (Art. 8 Abs. 1 IVG in der hier anwendbaren, bis Ende 2003 gültig gewesenen Fassung) und zu denjenigen medizinischer Art im Besonderen (Art. 12 Abs. 1 IVG in der bis Ende 2003 gültig gewesenen Fassung) sowie zur Pflicht der Versicherten zur Mitwirkung bei Eingliederungsmassnahmen und den Folgen einer Verweigerung (Art. 43 Abs. 3 ATSG; vgl. auch Art. 10 Abs. 2 IVG in der bis Ende 2002 gültig gewesenen Fassung) richtig dargelegt. Ferner trifft zu, dass das ATSG vorliegend anwendbar ist. Darauf wird verwiesen. Zu ergänzen ist, dass die am 1. Januar 2004 in Kraft getretenen Änderungen des Bundesgesetzes über die Invalidenversicherung vom 21. März 2003 und der Verordnung über die Invalidenversicherung vom 21. Mai 2003 vorliegend nicht zur Anwendung gelangen (<ref-ruling> Erw. 1.2).
1. Das kantonale Verwaltungsgericht hat die gesetzlichen Bestimmungen zum Anspruch auf Eingliederungsmassnahmen im Allgemeinen (Art. 8 Abs. 1 IVG in der hier anwendbaren, bis Ende 2003 gültig gewesenen Fassung) und zu denjenigen medizinischer Art im Besonderen (Art. 12 Abs. 1 IVG in der bis Ende 2003 gültig gewesenen Fassung) sowie zur Pflicht der Versicherten zur Mitwirkung bei Eingliederungsmassnahmen und den Folgen einer Verweigerung (Art. 43 Abs. 3 ATSG; vgl. auch Art. 10 Abs. 2 IVG in der bis Ende 2002 gültig gewesenen Fassung) richtig dargelegt. Ferner trifft zu, dass das ATSG vorliegend anwendbar ist. Darauf wird verwiesen. Zu ergänzen ist, dass die am 1. Januar 2004 in Kraft getretenen Änderungen des Bundesgesetzes über die Invalidenversicherung vom 21. März 2003 und der Verordnung über die Invalidenversicherung vom 21. Mai 2003 vorliegend nicht zur Anwendung gelangen (<ref-ruling> Erw. 1.2).
2. 2.1 Aus den Akten ergibt sich, dass die IV-Stelle den Versicherten am 8. Juli 2002 angefragt hat, ob er an beruflichen Massnahmen interessiert sei. Diese Frage bejahte der damalige Rechtsvertreter umgehend mit Schreiben vom 16. Juli 2002. Hierauf sprach die IV-Stelle dem Beschwerdeführer mit Verfügung vom 19. Juli 2002 Beratung und Unterstützung durch die verwaltungsinterne Stellenvermittlung zu. Am 30. August 2002 wurde der Versicherte auf den 4. September 2002 zu einem Gespräch auf die IV-Stelle eingeladen. Aus einer Aktennotiz vom 6. September 2002 ergibt sich, dass es am 28. August und am 4. September 2002 zweimal Kontakte zwischen dem Sachbearbeiter und dem Beschwerdeführer gab. Gemäss der Aktennotiz sei eine Diskussion über Arbeitsmöglichkeiten auch nach zwei längeren Gesprächen nicht denkbar gewesen. Der Versicherte habe nie positiv reagiert, sich stark vergangenheitsorientiert verhalten, sei überzeugt, dass ihm von verschiedenen staatlichen Instanzen massivstes Unrecht geschehen sei und wolle Wiedergutmachung, bevor er auch nur einen Schritt in die Zukunft unternehme. Er verlange schriftliche Antworten auf folgende Fragen: "Wie beurteilt die IV meine Arbeitsunfähigkeit als Bauarbeiter seit dem Unfall bis heute? Wer bezahlt? Wie viele Prozent muss ich arbeiten? Wer übernimmt die Verantwortung, wenn es gesundheitlich nicht geht? Schriftliche Stellungnahme der IV, ob ich weiter als Simulant gelte oder nicht?". Vorher sei die Zukunft mit ihm nicht zu besprechen. Mit Schreiben vom 6. September 2002 teilte der Sachbearbeiter dem Anwalt des Versicherten mit, dass er keine Eingliederungsmöglichkeit sehe und den Auftrag unerledigt abzuschliessen gedenke. Dieser bat um Fristverlängerung, meldete sich aber nicht mehr. Am 31. Oktober 2002 erhielt der Versicherte eine Mahnung mit Gelegenheit zur Stellungnahme. Daraufhin antwortete der Beschwerdeführer am 6. November 2002, er verlange Antwort auf die Fragen, die er anlässlich des Gesprächs vom 4. September 2002 gestellt habe. Irgendeine Bereitschaft zur Mitarbeit bei der Eingliederung lässt sich diesem Schreiben nicht entnehmen. Einen Tag später ersuchte der Rechtsvertreter erneut um ein Gespräch, welches die IV-Stelle ablehnte. Mit der umstrittenen Verfügung vom 15. Januar 2003 schloss die Verwaltung den Fall ab.
2.2 Angesichts dieses Ablaufes hat die IV-Stelle richtig gehandelt. Es ist dem Versicherten zuzumuten, konstruktiv auf das Angebot der IV-Stelle um Unterstützung zur beruflichen Eingliederung zu reagieren. Was der neue Rechtsvertreter in der Verwaltungsgerichtsbeschwerde hiegegen vorbringt, ist nicht stichhaltig und teilweise aktenwidrig. Namentlich äusserte der Beschwerdeführer im Schreiben vom 6. November 2002 keinerlei Bereitschaft zur Mitarbeit, sondern verlangte einmal mehr die Beantwortung seiner Fragen. Bei einem solchen Verhalten macht es keinen Sinn, wenn die IV-Stelle Eingliederungsbemühungen tätigt. Es kann und darf vom Beschwerdeführer verlangt werden, sich aktiv und ohne vorgängige Beantwortung seiner Fragen um seine Eingliederung zu bemühen.
2.2 Angesichts dieses Ablaufes hat die IV-Stelle richtig gehandelt. Es ist dem Versicherten zuzumuten, konstruktiv auf das Angebot der IV-Stelle um Unterstützung zur beruflichen Eingliederung zu reagieren. Was der neue Rechtsvertreter in der Verwaltungsgerichtsbeschwerde hiegegen vorbringt, ist nicht stichhaltig und teilweise aktenwidrig. Namentlich äusserte der Beschwerdeführer im Schreiben vom 6. November 2002 keinerlei Bereitschaft zur Mitarbeit, sondern verlangte einmal mehr die Beantwortung seiner Fragen. Bei einem solchen Verhalten macht es keinen Sinn, wenn die IV-Stelle Eingliederungsbemühungen tätigt. Es kann und darf vom Beschwerdeführer verlangt werden, sich aktiv und ohne vorgängige Beantwortung seiner Fragen um seine Eingliederung zu bemühen.
3. Ein Anspruch auf medizinische Massnahmen ist schon deswegen nicht ausgewiesen, weil es angesichts der gesundheitlichen Beeinträchtigungen des Beschwerdeführers um die nicht von der IV zu übernehmende Behandlung des Leidens an sich ginge. Es kann auf den zutreffenden kantonalen Entscheid verwiesen werden. Einer Rückweisung an die Verwaltung bedarf es nicht, da diese sich sowohl im Einspracheentscheid als auch in den nachfolgenden Verfahren ausreichend zu diesem Thema äussern konnte.
3. Ein Anspruch auf medizinische Massnahmen ist schon deswegen nicht ausgewiesen, weil es angesichts der gesundheitlichen Beeinträchtigungen des Beschwerdeführers um die nicht von der IV zu übernehmende Behandlung des Leidens an sich ginge. Es kann auf den zutreffenden kantonalen Entscheid verwiesen werden. Einer Rückweisung an die Verwaltung bedarf es nicht, da diese sich sowohl im Einspracheentscheid als auch in den nachfolgenden Verfahren ausreichend zu diesem Thema äussern konnte.
4. Die Verwaltungsgerichtsbeschwerde ist offensichtlich unbegründet und wird im Verfahren nach Art. 36a OG erledigt.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht von Appenzell Ausserrhoden und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 13. Januar 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: