Aufenthaltsbewilligung, hat sich ergeben:
A.- Der aus Mazedonien stammende A._, geboren am ... ... 1976, reiste am 7. Mai 1990 im Alter von 14 Jahren im Rahmen des Familiennachzugs in die Schweiz ein und erhielt eine Aufenthaltsbewilligung zum Verbleib bei den Eltern. Am 6. August 1993 heiratete er in seiner Heimat die am ... ... 1975 geborene mazedonische Staatsangehörige B._; am 15. September 1993 stellte er bei der Fremdenpolizei des Kantons St. Gallen (im Folgenden: Fremdenpolizei) ein Gesuch um Nachzug der Ehefrau. Mit Verfügung vom 22. Oktober 1993 wies die Fremdenpolizei das Gesuch ab.
Dagegen erhob A._ Rekurs beim Regierungsrat des Kantons St. Gallen, zog diesen jedoch am 4. Januar 1994 zurück, da ihm das Justiz- und Polizeidepartement des Kantons mitgeteilt hatte, der Rekurs sei aussichtslos. Nachdem die Fremdenpolizei am 12. April 1995 die Schweizer Vertretung ermächtigt hatte, B._ ein Einreisevisum zu erteilen, reiste diese am 29. April 1995 in die Schweiz ein. Am ...
... 1995 kam der gemeinsame Sohn C._ zur Welt. Mit Verfügung vom 14. Mai 1996 verweigerte die Fremdenpolizei B._ und dem Sohn C._ eine Aufenthaltsbewilligung.
Hierauf kehrten diese in ihre Heimat zurück. Am 25. Dezember 1998 wurde die Ehe zwischen A._ und B._ in Mazedonien geschieden; das Sorgerecht für den Sohn C._ wurde dem Vater zugeteilt.
Am 19. August 1998 verurteilte die Strafkammer des Kantonsgerichts St. Gallen A._ wegen mehrfachen qualifizierten Raubes und mehrfachen Hausfriedensbruches zu zweieinviertel Jahren Zuchthaus sowie einer bedingt aufgeschobenen Landesverweisung von acht Jahren. Die dagegen erhobene Nichtigkeitsbeschwerde wies das Bundesgericht mit Urteil vom 10. Februar 1999 ab, soweit es darauf eintrat.
B.- Am 6. Januar 1999 heiratete A._ in Mazedonien die schweizerische Staatsangehörige D._, geboren 1979. Am 22./24. Februar 1999 stellte A._ ein Gesuch um Nachzug des Sohnes C._. Das Kind reiste in der Folge am 28. März 1999 zu einem dreimonatigen Besuchsaufenthalt in die Schweiz ein und hält sich seither bei seinem Vater auf. Mit Verfügung vom 31. März 1999 wies die Fremdenpolizei das Nachzugsgesuch ab mit der Begründung, dass angesichts der Zuchthausstrafe der Aufenthalt von A._ nicht genügend gefestigt sei. Diese Verfügung erwuchs in Rechtskraft.
Am 19. April 1999 trat A._ den Strafvollzug in der Anstalt X._ in Y._ an. Mit Gesuch vom 11. Juni 1999 beantragte er die Erteilung einer humanitären Aufenthaltsbewilligung für seinen Sohn C._. Mit Verfügung vom 30. August 1999 trat die Fremdenpolizei auf das Gesuch nicht ein. Dagegen erhob A._ am 14. September 1999 Rekurs beim Justiz- und Polizeidepartement.
Mit Verfügung vom 7. April 2000 verweigerte das Ausländeramt des Kantons St. Gallen A._ die Verlängerung seiner Aufenthaltsbewilligung. Dagegen erhob A._ am 25. April 2000 Rekurs beim Justiz- und Polizeidepartement.
Am 8. Juni 2000 verfügte dieses die bedingte Entlassung von A._ auf den 17. Juli 2000; es vereinigte zudem die beiden Rekursverfahren und wies mit Entscheid vom 13. Juli 2000 beide Rekurse ab.
Am ... Juli 2000 gebar D._ die Tochter E._.
Gegen den Entscheid des Justiz- und Polizeidepartements vom 13. Juli 2000 führten A._ und C._ Beschwerde beim Verwaltungsgericht des Kantons St. Gallen.
Dieses wies die Beschwerde am 25. Oktober 2000 ab.
C.- Dagegen haben A._ und C._ am 7. Dezember 2000 beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Sie beantragen, den Entscheid des Verwaltungsgerichts vom 25. Oktober 2000 bzw. den Entscheid des Justiz- und Polizeidepartements vom 13. Oktober 2000 sowie die Verfügung des Ausländeramtes vom 7. April 2000 aufzuheben, auf fremdenpolizeiliche Massnahmen gegenüber A._ zu verzichten und die Vorinstanz bzw. das Ausländeramt anzuweisen, A._ die Aufenthaltsbewilligung zu verlängern bzw.
C._ eine Aufenthaltsbewilligung zu erteilen; eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Das Justiz- und Polizeidepartement sowie das Verwaltungsgericht des Kantons St. Gallen schliessen auf Abweisung der Beschwerde. Das Bundesamt für Ausländerfragen beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei.
D.- Mit Verfügung vom 15. Januar 2001 hat der Abteilungspräsident der Beschwerde antragsgemäss die aufschiebende Wirkung erteilt.

Das Bundesgericht zieht in Erwägung:
1.- a) Art. 100 lit. b Ziff. 3 OG schliesst die Verwaltungsgerichtsbeschwerde aus gegen die Erteilung oder Verweigerung von fremdenpolizeilichen Bewilligungen, auf die das Bundesrecht keinen Anspruch einräumt. Gemäss Art. 4 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) entscheidet die zuständige Behörde, im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland, nach freiem Ermessen über die Bewilligung von Aufenthalt und Niederlassung. Der Ausländer bzw. seine allfällig in der Schweiz lebenden Angehörigen haben damit grundsätzlich keinen Anspruch darauf, dass ihnen eine Aufenthaltsbewilligung erteilt wird. Die Verwaltungsgerichtsbeschwerde ist ausgeschlossen, soweit nicht eine Norm des Bundesrechts oder eines Staatsvertrags dem Ausländer oder seinen Angehörigen einen Anspruch auf eine fremdenpolizeiliche Bewilligung einräumt (<ref-ruling> E. 1a S. 337 f., mit Hinweisen).
b) Nach Art. 7 Abs. 1 ANAG hat der Beschwerdeführer 1 als Ehegatte einer Schweizer Bürgerin grundsätzlich Anspruch auf Verlängerung der Aufenthaltsbewilligung. Die Frage, ob die Bewilligung zu verweigern sei, weil einer der in Art. 7 ANAG vorgesehenen Ausnahmetatbestände oder ein Verstoss gegen das Rechtsmissbrauchsverbot gegeben ist, betrifft nicht das Eintreten, sondern bildet Gegenstand der materiellen Beurteilung (<ref-ruling> E. 1b S. 266, mit Hinweisen).
Auf die Verwaltungsgerichtsbeschwerde ist daher, soweit eine Aufenthaltsbewilligung für den Beschwerdeführer 1 verlangt wird, einzutreten.
c) Ferner garantiert Art. 8 Ziff. 1 EMRK - wie seit dem 1. Januar 2000 auch <ref-law> - den Schutz des Familienlebens. Darauf kann sich der Ausländer berufen, der nahe Verwandte mit einem gefestigten Anwesenheitsrecht in der Schweiz hat; wird ihm selber die Anwesenheit in der Schweiz untersagt, kann dies Art. 8 EMRK (bzw. <ref-law>) verletzen. Soweit im Übrigen eine familiäre Beziehung tatsächlich gelebt wird und intakt ist, wird das der zuständigen Behörde in Art. 4 ANAG grundsätzlich eingeräumte freie Ermessen beschränkt. Die Verwaltungsgerichtsbeschwerde des um die fremdenpolizeiliche Bewilligung nachsuchenden Ausländers oder seiner hier anwesenden Angehörigen ist unter diesen Umständen deshalb zulässig (<ref-ruling> E. 2a S. 427, mit Hinweisen).
2.- a) Mit der Verwaltungsgerichtsbeschwerde kann die Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens, sowie die unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhaltes gerügt werden (Art. 104 lit. a und b OG). Ausgeschlossen ist die Rüge, der angefochtene Entscheid sei unangemessen (Art. 104 lit. c OG). Im Fremdenpolizeirecht stellt das Bundesgericht auf die aktuellen tatsächlichen und rechtlichen Umstände ab, ausser wenn eine richterliche Behörde als Vorinstanz entschieden hat. Diesfalls gilt die Regelung von Art. 105 Abs. 2 OG, wonach das Bundesgericht an die Feststellung des Sachverhalts gebunden ist, wenn die richterliche Vorinstanz diesen nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen erhoben hat (<ref-ruling> E. 2a S. 365; <ref-ruling> E. 2 S. 390). Da im vorliegenden Fall der angefochtene Entscheid durch ein Gericht erging, gelangt Art. 105 Abs. 2 OG zur Anwendung. Damit können auch nachträgliche Veränderungen des Sachverhalts nicht berücksichtigt werden bzw. sind neue tatsächliche Vorbringen im bundesgerichtlichen Verfahren ausgeschlossen, soweit sie nicht von der Vorinstanz von Amtes wegen hätten beachtet werden müssen und ihre Nichtberücksichtigung auf eine Verletzung wesentlicher Verfahrensbestimmungen hinausläuft (<ref-ruling> E. 5d S. 310 mit Hinweisen; <ref-ruling> S. 99 E. 1c, mit Hinweisen).
b) Der Beschwerdeführer hat vor Bundesgericht ein Schreiben der Arbeitgeberin des Beschwerdeführers 1 an seinen Anwalt, ein Zwischenzeugnis der Arbeitgeberin und einen Bericht der Kindergärtnerin betreffend C._, alle datiert vom 6. Dezember 2000, eingereicht. Diese neuen Beweismittel können nach dem Gesagten nicht berücksichtigt werden.
3.- a) Der Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung gemäss Art. 7 Abs. 1 ANAG entfällt, wenn ein Ausweisungsrund vorliegt. Gemäss Art. 10 Abs. 1 lit. a ANAG kann ein Ausländer aus der Schweiz weggewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft worden ist. Die Ausweisung soll aber nur verfügt werden, wenn sie nach den gesamten Umständen verhältnismässig erscheint (Art. 11 Abs. 3 ANAG). Dabei ist namentlich auf die Schwere des Verschuldens des Beschwerdeführers, auf die Dauer seiner Anwesenheit in der Schweiz sowie auf die ihm und seiner Familie drohenden Nachteile abzustellen (Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer, ANAV; SR 142. 201). Die Nichterteilung einer Aufenthaltsbewilligung an den wegen eines Verbrechens oder eines Vergehens verurteilten ausländischen Ehegatten einer Schweizer Bürgerin setzt, gleich wie die Ausweisung, eine Interessenabwägung voraus. Der Anspruch auf Erteilung der Bewilligung gemäss Art. 7 Abs. 1 ANAG erlischt damit nicht bereits dann, wenn ein Ausländer wegen eines Verbrechens oder Vergehens verurteilt wurde, sondern erst, wenn auch die Interessenabwägung ergibt, dass die Bewilligung zu verweigern ist (<ref-ruling> E. 4a S. 12/13, mit Hinweis).
Das Ergebnis dieser Interessenabwägung braucht allerdings nicht dasselbe zu sein, wie wenn eine Ausweisung angeordnet worden wäre. Wenn ein Ausländer ausgewiesen wird, darf er die Schweiz nicht mehr betreten, während dies bei der Verweigerung der Aufenthaltsbewilligung möglich bleibt. Aufgrund dieses Unterschieds in der Schwere der Massnahme kann sich in Grenzfällen ergeben, dass die Verweigerung der Aufenthaltsbewilligung zulässig ist, die Anordnung einer Ausweisung aber unverhältnismässig wäre (<ref-ruling> E. 4a S. 13).
b) Nach Art. 8 Ziff. 2 EMRK ist ein Eingriff in das nach Ziffer 1 geschützte Rechtsgut statthaft, soweit er gesetzlich vorgesehen ist und eine Massnahme darstellt, die in einer demokratischen Gesellschaft für die nationale Sicherheit, die öffentliche Ruhe und Ordnung, das wirtschaftliche Wohl des Landes, die Verteidigung der Ordnung und zur Verhinderung von strafbaren Handlungen, zum Schutze der Gesundheit und Moral sowie der Rechte und Freiheiten anderer notwendig ist. Die Konvention verlangt also eine Abwägung der sich gegenüber stehenden privaten Interessen am Familiennachzug und öffentlichen Interessen an dessen Verweigerung, wobei die öffentlichen in dem Sinne überwiegen müssen, dass sich der Eingriff als notwendig erweist. Dabei ist unter anderem wesentlich, ob gegen den Ausländer fremdenpolizeiliche Entfernungs- und Fernhaltegründe sprechen, insbesondere ob und in welchem Masse er sich massgebliches, straf- oder fremdenpolizeirechtlich verpöntes Verhalten hat zuschulden kommen lassen. Nebst den übrigen persönlichen und familiären Verhältnissen ist der Schwere solcher Vorwürfe und allenfalls den Umständen des Eheschlusses Rechnung zu tragen. Sodann ist bei der Interessenabwägung zu fragen, ob den hier anwesenheitsberechtigten Familienangehörigen zugemutet werden kann, dem Ausländer, der keine Bewilligung erhält, ins Ausland zu folgen. Die Frage der Zumutbarkeit bewertet sich nicht nach den persönlichen Wünschen der Betroffenen, sondern ist unter Berücksichtigung ihrer persönlichen Verhältnisse und aller Umstände objektiv zu beurteilen. Eine allfällige Unzumutbarkeit der Ausreise für die hier lebenden Angehörigen ist mit abzuwägen, führt aber nicht zwingend für sich allein zur Unzulässigkeit einer Bewilligungsverweigerung (<ref-ruling> E. 2 S. 5f., mit Hinweisen).
4.- a) Der Beschwerdeführer ist wegen mehrfachen qualifizierten Raubes sowie mehrfachen Hausfriedensbruchs zu zweieinviertel Jahren Zuchthaus sowie acht Jahren Landesverweisung, bedingt auf zwei Jahre, verurteilt worden. Damit ist ein Ausweisungsgrund im Sinne von Art. 10 Abs. 1 lit. agegeben.
Wie aus dem durch das Bundesgericht bestätigten Urteil des Kantonsgerichts St. Gallen vom 19. August 1998 hervorgeht, haben der Beschwerdeführer sowie zwei Mittäter am 5. Februar 1996 versucht, die Poststelle in Uetikon am See zu überfallen; gleichentags haben sie einen Raubüberfall auf die Coop-Filiale Uetikon am See und später auf die MigrosFiliale in Männedorf begangen. Bei diesem Überfall trieben die Täter nicht weniger als sechs Personen zusammen und drückten unter anderem einer behinderten Person, die nicht schnell gehen konnte, eine Pistole in den Rücken. Einen Tag später versuchten der Beschwerdeführer und seine beiden Mittäter, die Migros-Filiale Kleinandelfingen zu überfallen.
Der Beschwerdeführer war bei all diesen Vorfällen mit einer geladenen, aber nicht durchgeladenen Schusswaffe bewaffnet.
Der Deliktsbetrag belief sich auf insgesamt rund Fr. 53'000.--.
Der Tatbeitrag des Beschwerdeführers bestand im Wesentlichen darin, die Opfer in Schach zu halten. Obwohl das Kantonsgericht den Beschwerdeführer eher als Mitläufer taxierte, wertete es sein Verschulden als schwer.
Gemäss dem psychiatrischen Gutachten vom 26. August 1997 liegt beim Beschwerdeführer eine dissoziale Persönlichkeitsstörung vor. Nach den Ausführungen des Gutachters zeigen Persönlichkeiten mit einer solchen Störung eine deutliche und andauernde Verantwortungslosigkeit und missachten soziale Normen, Regeln und Verpflichtungen; es besteht die Unfähigkeit zum Erleben von Schuldbewusstsein und zum Lernen aus Erfahrung, besonders aus Bestrafung; die Schwelle für aggressives und kriminelles Verhalten ist gering. Beim Beschwerdeführer führt die dissoziale Persönlichkeitsstörung laut Gutachten dazu, dass er erhöht gefährdet ist, in Versuchungssituationen wieder Straftaten zu begehen und damit andere Menschen zu gefährden.
Angesichts der Schwere, namentlich auch Brutalität, der begangenen Straftaten und der Persönlichkeitsstörung des Beschwerdeführers, mit der eine erhöhte Rückfallgefahr verbunden ist, besteht ein erhebliches öffentliches Interesse an der Nichtverlängerung der Aufenthaltsbewilligung des Beschwerdeführers.
b) Diesem Interesse sind die privaten Interessen an einem Verbleib des Beschwerdeführers in der Schweiz gegenüberzustellen.
Sie vermögen jedoch das öffentliche Interesse an einer Fernhaltung des Beschwerdeführers nicht zu überwiegen:
Der Beschwerdeführer 1 lebt seit bald elf Jahren in der Schweiz; er hat sich aber schon sechs Jahre nach seiner Einreise, im Alter von nicht ganz 20 Jahren, an den geschilderten Straftaten beteiligt. Die lange Aufenthaltsdauer fällt daher nicht besonders ins Gewicht. Nachdem der Beschwerdeführer 1 sich vom 19. April 1999 bis zum 17. Juli 2000 im Strafvollzug befand und somit erst seit weniger als einem Jahr wieder in Freiheit lebt, kann auch nicht von einer besonders starken Integration in die Schweiz gesprochen werden.
Seiner Frau und dem am ... Juli 2000 geborenen gemeinsamen Kind E._ ist ein Leben in Mazedonien aufgrund der kulturellen und wirtschaftlichen Unterschiede kaum zumutbar; indessen musste ihr im Zeitpunkt der Heirat (6. Januar 1999) angesichts der strafrechtlichen Verurteilung des Beschwerdeführers 1 wegen Gewaltdelikten bewusst sein, dass die Verurteilung ihres Mannes fremdenpolizeiliche Konsequenzen haben könnte und sie ihre Ehe möglicherweise nicht weiterhin in der Schweiz würden leben können.
Der Beschwerdeführer 1 hat seine Kindheit in Mazedonien verbracht und ist erst während seiner Jugendzeit in die Schweiz eingereist. Damit sollte ihm die dortige Kultur nicht dermassen fremd geworden sein, dass er sich nicht - nach einer Anpassungszeit - wieder integrieren könnte. Erschwerend wiegt hingegen die Tatsache, dass die ehemalige Ehefrau des Beschwerdeführers 1, Mutter von C._, heute in Holland verheiratet ist und offenbar von ihrem Sohn nichts mehr wissen will. Da die Eltern des Beschwerdeführers 1 in der Schweiz leben, müsste dieser in Mazedonien den Sohn C._ alleine aufziehen. Das Leben als allein erziehender Vater in Mazedonien wird damit für den Beschwerdeführer 1 nicht einfach sein. Immerhin ist C._ mittlerweile fünfeinhalb Jahre alt und damit in einem Alter, wo er einen Kindergarten oder (je nach den örtlichen Gegebenheiten) die Schule wird besuchen können; damit sind die Aufnahme einer Arbeit sowie die Betreuung des Sohnes jedenfalls nicht ausgeschlossen.
c) Zusammenfassend ist festzuhalten, dass das Leben in Mazedonien für den Beschwerdeführer 1 zwar hart sein wird; indessen überwiegt angesichts der Schwere der begangenen Delikte das öffentliche Interesse an der Nichtverlängerung der Aufenthaltsbewilligung.
5.- Der Beschwerdeführer 2 hat keinen bundesrechtlichen Anspruch auf eine Aufenthaltsbewilligung in der Schweiz. Er kann sich auch nicht auf Art. 8 EMRK berufen, denn seinem Vater wird mit dem vorliegenden Urteil ein gefestigtes Aufenthaltsrecht in der Schweiz gerade abgesprochen. Auf die Verwaltungsgerichtsbeschwerde ist daher, soweit den Beschwerdeführer 2 betreffend, nicht einzutreten.
6.- Die Verwaltungsgerichtsbeschwerde ist nach dem Gesagten abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens haben die Beschwerdeführer die Gerichtskosten zu tragen (Art. 156 Abs. 1 OG in Verbindung mit Art. 153 und Art. 153a OG). Da der Beschwerdeführer 2 minderjährig ist, rechtfertigt es sich entgegen Art. 156 Abs. 7 OG, die gesamten Gerichtskosten dem Beschwerdeführer 1 aufzuerlegen.

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer 1 auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer, dem Justiz- und Polizeidepartement und dem Verwaltungsgericht des Kantons St. Gallen sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 6. April 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Die Gerichtsschreiberin: