Sachverhalt: Sachverhalt: A. Der aus Kroatien stammende X._ (geb. ... 1956) heiratete im Jahre 1977 in seinem Heimatland die Landsmännin A._ (geb. ... 1959). Aus dieser Ehe gingen die beiden Töchter B._ (geb. ... 1978) und C._ (geb. ...1980) hervor. A._ war vom Dezember 1980 bis zum September 1987 als Saisonangestellte in der Schweiz tätig. X._ arbeitete im Jahre 1983 während einer Saison in der Schweiz, kehrte aber anschliessend wieder in seine Heimat zurück. Am 1. Juli 1983 wurde er zu einer Busse von Fr. 100.-- verurteilt, weil er "wegen Trunkenheit Gegenstand öffentlichen Ärgernisses war und Skandal verursachte". Im Jahre 1986 liessen sich X._ und A._ scheiden. Im Herbst 1987 erhielt A._ eine Jahresaufenthaltsbewilligung. Am 15. April 1988 reiste X._ erneut in die Schweiz ein und heiratete A._ ein zweites Mal. Im Rahmen des Familiennachzugs erhielt er mit den gemeinsamen Töchtern, die seit dem Aufenthalt ihrer Mutter in der Schweiz von den Grosseltern mütterlicherseits in Jugoslawien betreut worden waren, eine Jahresaufenthaltsbewilligung. Im Herbst 1987 erhielt A._ eine Jahresaufenthaltsbewilligung. Am 15. April 1988 reiste X._ erneut in die Schweiz ein und heiratete A._ ein zweites Mal. Im Rahmen des Familiennachzugs erhielt er mit den gemeinsamen Töchtern, die seit dem Aufenthalt ihrer Mutter in der Schweiz von den Grosseltern mütterlicherseits in Jugoslawien betreut worden waren, eine Jahresaufenthaltsbewilligung. B. Am 22. Juli 1989 verurteilte das Polizeigericht Saas-Grund X._ zu einer Busse von Fr. 100.--, weil er "wegen Trunkenheit Gegenstand öffentlichen Ärgernisses war und Sachschaden leichter Natur anrichtete". Am 1. Juni 1990 verurteilte das Untersuchungsrichteramt Oberwallis in Visp X._ wegen Führens eines Motorfahrzeuges in angetrunkenem Zustand sowie anderen Widerhandlungen gegen das Strassenverkehrsgesetz zu einem Monat Gefängnis und einer Busse von Fr. 500.--. Gestützt darauf verwarnte ihn die Fremdenkontrolle des Kantons Wallis mit Schreiben vom 10. August 1990. Im Laufe des Jahres 1990 übersiedelte die Familie in den Kanton Aargau. Am 21. Mai 1991 verurteilte das Polizeigericht Brig-Glis X._ wegen Verursachens öffentlichen Ärgernisses infolge Trunkenheit, Verursachung leichten Sachschadens am Dienstfahrzeug der Stadtpolizei Brig und Nichtbefolgens polizeilicher Weisungen zu einer Busse von Fr. 100.--. Am 21. Mai 1991 verurteilte das Polizeigericht Brig-Glis X._ wegen Verursachens öffentlichen Ärgernisses infolge Trunkenheit, Verursachung leichten Sachschadens am Dienstfahrzeug der Stadtpolizei Brig und Nichtbefolgens polizeilicher Weisungen zu einer Busse von Fr. 100.--. C. Am 21. Juli 1992 erhielt A._ die Niederlassungsbewilligung. Am 2. Mai 1996 wurde der gemeinsame Sohn D._ geboren; unmittelbar nach seiner Geburt wurde ihm die Niederlassungsbewilligung erteilt. C. Am 21. Juli 1992 erhielt A._ die Niederlassungsbewilligung. Am 2. Mai 1996 wurde der gemeinsame Sohn D._ geboren; unmittelbar nach seiner Geburt wurde ihm die Niederlassungsbewilligung erteilt. D. Mit Urteil vom 16. Januar 1997 bestrafte das Bezirksgericht Zofingen X._ wegen Fahrens in angetrunkenem Zustand, Widerhandlung gegen die Verordnung über den Erwerb und das Tragen von Schusswaffen durch jugoslawische Staatsangehörige sowie gegen das Bundesgesetz über die Jagd und den Schutz wildlebender Säugetiere mit vier Monaten Gefängnis unbedingt und einer Busse von Fr. 1'500.--. Seit dem 16. Februar 1998 ist X._ im Besitz einer Niederlassungsbewilligung. Mit Strafbefehl vom 16. Mai 2000 verurteilte das Bezirksamt Zofingen X._ wegen einfacher Körperverletzung, Angriff, Drohung und Hausfriedensbruchs zu 30 Tagen Gefängnis unbedingt und zu einer Busse von Fr. 800.--. X._ hatte seine eigene Tochter zusammen mit einer Drittperson spitalreif geschlagen. Mit Strafbefehl vom 16. Mai 2000 verurteilte das Bezirksamt Zofingen X._ wegen einfacher Körperverletzung, Angriff, Drohung und Hausfriedensbruchs zu 30 Tagen Gefängnis unbedingt und zu einer Busse von Fr. 800.--. X._ hatte seine eigene Tochter zusammen mit einer Drittperson spitalreif geschlagen. E. Am 30. Januar 2001 wurde X._ in Rothrist wegen Verdachts auf Betäubungsmitteldelikte verhaftet und in Untersuchungshaft genommen. Mit Verfügung vom 11. Mai 2001 gewährte das Obergericht des Kantons Aargau die vorzeitige Versetzung in die Strafanstalt E._ auf den 6. Juni 2001. Am 18. November 2002 trat X._, nach vorheriger einwöchiger (Alkohol-)Entzugsbehandlung in der psychiatrischen Klinik F._, in die Klinik für Suchtkranke G._ ein. Am 20. Februar 2003 verurteilte ihn das Bezirksgericht Zofingen wegen qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz, Verletzung von Verkehrsregeln, Führens eines Motorfahrzeuges in angetrunkenem Zustand, versuchter Vereitelung einer Blutprobe, pflichtwidrigen Verhaltens nach einem Unfall mit Sachschaden sowie Missachtung einer Auflage des Führerausweises zu einer dreijährigen Zuchthausstrafe, einer Busse von Fr. 2'000.-- und einer bedingten Landesverweisung von 5 Jahren. Da X._ seit 18 Jahren an einer Alkohol- und seit Jahren zusätzlich an einer Spielsucht leidet, ordnete es zudem eine stationäre suchtspezifische Therapie an und schob den Vollzug der Freiheitsstrafe zu Gunsten dieser Massnahme auf. Mit Verfügung vom 27. März 2003 wies das Departement des Innern des Kantons Aargau X._ rückwirkend ab dem 20. Februar 2003 in die Klinik für Suchtkranke G._, H._, ein. E. Am 30. Januar 2001 wurde X._ in Rothrist wegen Verdachts auf Betäubungsmitteldelikte verhaftet und in Untersuchungshaft genommen. Mit Verfügung vom 11. Mai 2001 gewährte das Obergericht des Kantons Aargau die vorzeitige Versetzung in die Strafanstalt E._ auf den 6. Juni 2001. Am 18. November 2002 trat X._, nach vorheriger einwöchiger (Alkohol-)Entzugsbehandlung in der psychiatrischen Klinik F._, in die Klinik für Suchtkranke G._ ein. Am 20. Februar 2003 verurteilte ihn das Bezirksgericht Zofingen wegen qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz, Verletzung von Verkehrsregeln, Führens eines Motorfahrzeuges in angetrunkenem Zustand, versuchter Vereitelung einer Blutprobe, pflichtwidrigen Verhaltens nach einem Unfall mit Sachschaden sowie Missachtung einer Auflage des Führerausweises zu einer dreijährigen Zuchthausstrafe, einer Busse von Fr. 2'000.-- und einer bedingten Landesverweisung von 5 Jahren. Da X._ seit 18 Jahren an einer Alkohol- und seit Jahren zusätzlich an einer Spielsucht leidet, ordnete es zudem eine stationäre suchtspezifische Therapie an und schob den Vollzug der Freiheitsstrafe zu Gunsten dieser Massnahme auf. Mit Verfügung vom 27. März 2003 wies das Departement des Innern des Kantons Aargau X._ rückwirkend ab dem 20. Februar 2003 in die Klinik für Suchtkranke G._, H._, ein. F. Mit Verfügung vom 25. April 2003 teilte das Migrationsamt des Kantons Aargau X._ mit, dass sie ihn auszuweisen gedenke, und gewährte ihm hierzu die Gelegenheit zur Stellungnahme. Mit Schreiben vom 19. Mai 2003 ersuchte X._ darum, von einer Ausweisung abzusehen. Er betonte, dass er nur habe verurteilt werden müssen, weil er krankhaft spielsüchtig gewesen sei; sobald er geheilt sei, werde er keine Gefahr mehr für die öffentliche Sicherheit darstellen. F. Mit Verfügung vom 25. April 2003 teilte das Migrationsamt des Kantons Aargau X._ mit, dass sie ihn auszuweisen gedenke, und gewährte ihm hierzu die Gelegenheit zur Stellungnahme. Mit Schreiben vom 19. Mai 2003 ersuchte X._ darum, von einer Ausweisung abzusehen. Er betonte, dass er nur habe verurteilt werden müssen, weil er krankhaft spielsüchtig gewesen sei; sobald er geheilt sei, werde er keine Gefahr mehr für die öffentliche Sicherheit darstellen. G. Mit Verfügung vom 2. Juni 2003 wies das Migrationsamt X._ für unbestimmte Zeit aus der Schweiz aus und verfügte, er habe die Schweiz auf den Zeitpunkt der Beendigung der stationären Massnahme zu verlassen. Gegen diese Verfügung erhob X._ am 24. Juni 2003 erfolglos Einsprache beim Migrationsamt des Kantons Aargau. Die gegen den Einspracheentscheid eingereichte Beschwerde wurde vom Rekursgericht im Ausländerrecht des Kantons Aargau mit Urteil vom 12. März 2004 abgewiesen. Gegen diese Verfügung erhob X._ am 24. Juni 2003 erfolglos Einsprache beim Migrationsamt des Kantons Aargau. Die gegen den Einspracheentscheid eingereichte Beschwerde wurde vom Rekursgericht im Ausländerrecht des Kantons Aargau mit Urteil vom 12. März 2004 abgewiesen. H. Dagegen hat X._ am 19. April 2004 beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Er beantragt, den Entscheid des Rekursgerichts aufzuheben und von einer Ausweisung abzusehen. Das Migrationsamt und das Rekursgericht im Ausländerrecht des Kantons Aargau beantragen die Abweisung der Beschwerde. Das Bundesamt für Zuwanderung, Integration und Auswanderung ist der Meinung, die unbefristete Ausweisung erscheine eher hart; es beantragt aber ebenfalls die Abweisung der Beschwerde. Das Migrationsamt und das Rekursgericht im Ausländerrecht des Kantons Aargau beantragen die Abweisung der Beschwerde. Das Bundesamt für Zuwanderung, Integration und Auswanderung ist der Meinung, die unbefristete Ausweisung erscheine eher hart; es beantragt aber ebenfalls die Abweisung der Beschwerde. I. Mit Eingabe vom 10. Mai 2004 übermittelte der Beschwerdeführer dem Bundesgericht ein Schreiben des ärztlichen Leiters der Klinik für Suchtkranke G._.