wird festgestellt und in Erwägung gezogen:
1.- a) Mit Einspracheentscheid vom 4. Dezember 2000 lehnte es die Fremdenpolizei des Kantons Aargau ab, eine rechtskräftige Verfügung über die Nichtverlängerung der Aufenthaltsbewilligung des jugoslawischen Staatsangehörigen A._ in Wiedererwägung zu ziehen; gleichzeitig verweigerte sie die Erteilung einer neuen Bewilligung aufgrund der Heirat mit einer niedergelassenen Landsfrau, im Wesentlichen mit Blick auf diverse Straftaten, worunter vollendeten Tötungsversuch, wegen derer A._ strafrechtlich verurteilt worden ist. Mit Urteil vom 23. Februar 2001 wies das Rekursgericht im Ausländerrecht des Kantons Aargau eine gegen den Einspracheentscheid vom 4. Dezember 2000 gerichtete Beschwerde ab.
b) A._ führt in eigenem Namen und in demjenigen seiner am 31. Januar 2001 geborenen Tochter B._ Verwaltungsgerichtsbeschwerde beim Bundesgericht mit dem Antrag, das Urteil des Rekursgerichts sei aufzuheben und es sei ihm die Aufenthaltsbewilligung zu erteilen.
2.- a) Der Beschwerdeführer 1 hat als ausländischer Ehegatte einer niedergelassenen Ausländerin gemäss Art. 17 Abs. 2 ANAG einen Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, solange die Ehegatten zusammen wohnen. Da die Beziehung zwischen den Ehegatten und zwischen dem Beschwerdeführer 1 und seiner Tochter intakt ist und im Rahmen des Möglichen tatsächlich gelebt wird, können sich beide Beschwerdeführer im Hinblick auf die Erteilung einer Anwesenheitsbewilligung in der Schweiz an den Beschwerdeführer 1 zusätzlich auf <ref-law> und Art. 8 EMRK berufen. Damit kommt der Ausschlussgrund von Art. 100 Abs. 1 lit. b Ziff. 3 OG nicht zur Anwendung, weshalb auf die Verwaltungsgerichtsbeschwerde einzutreten ist (vgl. <ref-ruling> E. 2; <ref-ruling> E. 1, mit Hinweisen).
b) Nach Art. 17 Abs. 2 letzter Satz ANAG erlischt der Anspruch auf Aufenthaltsbewilligung, wenn der Anspruchsberechtigte gegen die öffentliche Ordnung verstossen hat.
Nach der Rechtsprechung muss die Verweigerung der Erteilung oder Verlängerung der Bewilligung überdies verhältnismässig sein (vgl. <ref-ruling> E. 4a S. 130 f.). Eine vergleichbare Interessenabwägung setzt im Übrigen gemäss Art. 8 Ziff. 2 EMRK - bzw. neuerdings Art. 36 in Verbindung mit <ref-law> - auch ein Eingriff in das Recht auf Achtung des Familienlebens voraus (vgl. <ref-ruling> E. 2 S. 5 f., mit Hinweisen).
c) Der Beschwerdeführer 1 macht geltend, die Straftaten, die er vor dem Eheschluss begangen habe, seien nicht massgeblich, da sein Anspruch erst mit der Heirat entstanden sei und nicht durch frühere Delikte zum Erlöschen gebracht werden könne. Dies trifft indessen nicht zu. Hat ein Ausländer bereits vor Eheschluss Straftaten begangen, entsteht gar nicht erst ein Anspruch auf Aufenthaltsbewilligung, wenn sich die Verweigerung einer solchen Bewilligung als verhältnismässig erweist. Das Bundesgericht hat in seiner Rechtsprechung immer auch auf frühere Delikte abgestellt, jedenfalls solange wie hier ein gewisser zeitlicher Zusammenhang der tatsächlichen Gegebenheiten bestand; da es dies sogar bei der Anwendung von Art. 7 ANAG, also dem Nachzug des ausländischen Ehepartners eines Schweizers oder einer Schweizerin tat (vgl. etwa <ref-ruling>), sind frühere Delikte unter den beschriebenen Voraussetzungen erst recht im Rahmen von Art. 17 ANAG zu berücksichtigen. Gemäss der Praxis muss es sich der ausländische Partner zudem entgegenhalten lassen, wenn beim Eheschluss die Straffälligkeit bereits bekannt war.
d) Der Beschwerdeführer 1 wurde wegen vollendeten Tötungsversuchs mit viereinhalb Jahren Zuchthaus und zwölf Jahren Landesverweisung bedingt bestraft. Hinzu kommen mehrere Strassenverkehrsdelikte sowie eine Verurteilung wegen Betrugs zu zwei Monaten Gefängnis. Damit besteht trotz der bereits mehrjährigen Anwesenheit des Beschwerdeführers 1 in der Schweiz ein erhebliches sicherheitspolizeiliches Interesse daran, ihm die Aufenthaltsbewilligung zu verweigern, welches seine privaten Interessen klarerweise überwiegt.
Seine Frau hatte beim Eheschluss Kenntnis von der Strafverurteilung.
Überdies ist nicht eindeutig, dass ihr und dem Kind die Ausreise nach Jugoslawien nicht zumutbar wäre, stammt doch die Ehefrau selber aus diesem Land und handelt es sich bei der Tochter noch um ein Kleinkind; dies kann letztlich jedoch offen bleiben, verletzt die Verweigerung der Anwesenheitsbewilligung nämlich Bundesrecht selbst dann nicht, wenn der Ehefrau und dem Kind die Ausreise nicht zuzumuten wäre.
3.- a) Die Verwaltungsgerichtsbeschwerde erweist sich als offensichtlich unbegründet, weshalb sie ohne weiteren Schriftenwechsel im vereinfachten Verfahren nach Art. 36a OG abzuweisen ist. Ergänzend wird auf die Ausführungen im angefochtenen Entscheid verwiesen (Art. 36a Abs. 3 OG).
b) Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (Art. 156 Abs. 1, Art. 153 und 153a OG). Da seine Begehren als von vornherein aussichtslos erscheinen, kann dem Gesuch um Erteilung der unentgeltlichen Rechtspflege und Verbeiständung nicht stattgegeben werden (Art. 152 OG).
c) Mit dem Entscheid in der Sache wird der Antrag gegenstandslos, es sei der Beschwerde die aufschiebende Wirkung zu erteilen.

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Der Antrag auf Gewährung der unentgeltlichen Rechtspflege und Verbeiständung wird abgewiesen.
3.- Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdeführer 1 auferlegt.
4.- Dieses Urteil wird den Beschwerdeführern, der Fremdenpolizei und dem Rekursgericht im Ausländerrecht des Kantons Aargau sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 5. April 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: