Ausweisung, hat sich ergeben:
A.- Der aus dem ehemaligen Jugoslawien (Bosnien-Herzegowina) stammende I._ reiste am 13. März 1980 als Saisonnier in die Schweiz ein. Am 21. November 1983 wurde ihm die Aufenthalts- und am 22. März 1991 die Niederlassungsbewilligung erteilt.
I._ ist mit einer Kroatin aus Bosnien-Herzegowina verheiratet und hat zwei erwachsene Kinder. Seit 1990 bezieht er eine volle Invalidenrente bei einem Invaliditätsgrad von 71%. Die Ehefrau ihrerseits erhält eine halbe Invalidenrente.
B.- Das Bezirksgericht Kulm verurteilte Nedji Ilic am 11. März 1997 wegen Vergewaltigung zu einer Zuchthausstrafe von drei Jahren. Das Obergericht des Kantons Aargau reduzierte die Strafe mit Urteil vom 18. Dezember 1997 auf zweieinhalb Jahre Zuchthaus.
Mit Verfügung vom 23. April 1999 wies die Fremdenpolizei des Kantons Aargau I._ für unbestimmte Zeit aus der Schweiz aus. Die dagegen erhobene Einsprache blieb ohne Erfolg. Auf Beschwerde hin bestätigte das Rekursgericht im Ausländerrecht des Kantons Aargau mit Urteil vom 14. April 2000 die Ausweisungsverfügung.
C.- Mit Verwaltungsgerichtsbeschwerde vom 5. Mai 2000 beantragt I._ das Urteil des Rekursgerichtes im Ausländerrecht aufzuheben. Zudem stellt er das Gesuch, der Beschwerde sei die aufschiebende Wirkung zu erteilen.
Das Rekursgericht im Ausländerrecht des Kantons Aargau sowie das Bundesamt für Ausländerfragen beantragen die Abweisung der Beschwerde.
D.- Der Präsident der II. öffentlichrechtlichen Abteilung hat der Beschwerde mit Verfügung vom 7. Juni 2000 aufschiebende Wirkung zuerkannt.

Das Bundesgericht zieht in Erwägung:
1.- a) Gegen die sich auf Art. 10 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) stützende Ausweisungsverfügung ist die Verwaltungsgerichtsbeschwerde zulässig (vgl. Art. 100 Abs. 1 lit. b Ziff. 4 OG; <ref-ruling> E. 1a S. 2).
b) Mit der Verwaltungsgerichtsbeschwerde kann die Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens, sowie die unrichtige oder unvollständige Feststellung des Sachverhalts gerügt werden (Art. 104 lit. a und b OG). Hat allerdings, wie vorliegend, eine richterliche Behörde als Vorinstanz entschieden, so ist das Bundesgericht an deren tatsächliche Feststellungen gebunden, es sei denn, was hier nicht der Fall ist, diese erwiesen sich als offensichtlich unrichtig, unvollständig oder seien unter Verletzung wesentlicher Verfahrensvorschriften getroffen worden (Art. 105 Abs. 2 OG).
2.- a) Nach Art. 10 Abs. 1 lit. a ANAG kann ein Ausländer aus der Schweiz ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde. Die Ausweisung soll indessen nur verfügt werden, wenn sie nach den gesamten Umständen verhältnismässig erscheint (Art. 11 Abs. 3 ANAG). Dabei sind namentlich die Schwere des Verschuldens des Ausländers, die Dauer seiner Anwesenheit in der Schweiz und die ihm und seiner Familie drohenden Nachteile zu berücksichtigen (Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer, ANAV; SR 142. 201). Ob die Ausweisung im Sinne der Art. 11 Abs. 3 ANAG und 16 Abs. 3 ANAV "angemessen", d.h. verhältnismässig ist (vgl. <ref-ruling> E. 2b S. 356/357), ist eine Rechtsfrage, die das Bundesgericht frei prüft (Art. 104 lit. a OG). In dieser Prüfung geht auch diejenige auf, ob die Ausweisung im Blick auf Art. 8 EMRK als verhältnismässig bzw. als in einer demokratischen Gesellschaft notwendig erscheint (<ref-ruling> E. 4a und b S. 130 f.). Dem Bundesgericht ist jedoch verwehrt, sein eigenes Ermessen - im Sinn einer Überprüfung der Zweckmässigkeit - an die Stelle jenes der zuständigen kantonalen Behörde zu setzen (<ref-ruling> E. 2a S. 435, mit Hinweisen).
b) Der Beschwerdeführer wurde zuletzt vom Obergericht des Kantons Aargau mit einer Zuchthausstrafe von zweieinhalb Jahren belegt, sodass der Ausweisungsgrund von Art. 10 Abs. 1 lit. a ANAG gegeben ist. Zu prüfen bleibt, ob die Ausweisung als verhältnismässig erscheint. Dabei ist vorab festzustellen, dass der Beschwerdeführer in schwerwiegender Weise straffällig geworden ist. Wie die Vorinstanz zutreffend hervorhob, sind die Folgen für das Opfer der Vergewaltigung gravierend. Angesichts der Ausführungen in der Beschwerdeschrift, das Opfer habe ihn getäuscht und "reingelegt", erscheint im Übrigen die Behauptung des Beschwerdeführers, es bestehe kein Rückfallrisiko, zweifelhaft.
c) Der Beschwerdeführer ist im ehemaligen Jugoslawien aufgewachsen und erst im Alter von 28 Jahren als Saisonnier in die Schweiz eingereist. Es kann davon ausgegangen werden, dass ihm die Lebensverhältnisse in seiner Heimat nicht fremd sind. Im Übrigen hielt er sich 1998 während eines ungefähr fünfmonatigen Spitalaufenthalts in Bosnien-Herzegowina auf. Die Ehefrau stammt ebenfalls aus Bosnien-Herzegowina, wo sie noch mehrere Jahre nach der Heirat gelebt hat. Es ist ihr nicht unzumutbar, dorthin zurückzukehren, sofern sie sich entscheidet, mit ihrem Ehemann zusammenzubleiben.
Wie die Vorinstanz festgestellt hat, können die dem Beschwerdeführer sowie seiner Ehegattin zustehenden schweizerischen Invalidenrenten auch bezogen werden, wenn die Begünstigten nicht mehr in der Schweiz wohnhaft sind.
Die beiden gemeinsamen Kinder sind erwachsen und daher nicht mehr auf die Anwesenheit des Vaters angewiesen. Dass sie in einem besonderen Abhängigkeitsverhältnis zu ihrem Vater stünden, ist weder dargetan noch ersichtlich.
d) Einer Ausweisung des Beschwerdeführers steht auch der in Art. 8 EMRK verankerte Anspruch auf Achtung des Familienlebens nicht entgegen, denn dieser Anspruch kann zur Verteidigung der Ordnung und zur Verhinderung von strafbaren Handlungen eingeschränkt werden (<ref-ruling> E. 2 S. 6).
Angesichts des schwerwiegenden Verschuldens des Beschwerdeführers und trotz der langen Aufenthaltsdauer durfte die Vorinstanz, ohne Bundesrecht zu verletzen, die einer Ausweisung entgegenstehenden privaten Interessen geringer werten als das öffentliche Interesse an der Ausweisung des Beschwerdeführers.
Aus dem Umstand, dass die Ausweisung in andern Fällen auf Grund schwererer Straftaten verfügt wurde, lässt sich nicht ableiten, die vorliegende Ausweisung sei unverhältnismässig.
3.- Die Verwaltungsgerichtsbeschwerde erweist sich damit als offensichtlich unbegründet und ist im vereinfachten Verfahren nach Art. 36a OG abzuweisen. Für die Begründung kann ergänzend auf die zutreffenden Ausführungen im angefochtenen Urteil verwiesen werden (vgl. Art. 36a Abs. 3 OG).

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 1'500.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer, der Fremdenpolizei und dem Rekursgericht im Ausländerrecht des Kantons Aargau sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 3. August 2000
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: