Sachverhalt:
A. X._ (geb. 1970), algerischer Staatsangehöriger, reiste am 22. Februar 2010 in die Schweiz ein und schloss hier am 9. April 2010 die Ehe mit der ursprünglich marokkanischen Staatsangehörigen Y._ (geb. 1974), welche das Schweizer Bürgerrecht besitzt und die am 9. September 2009 geschieden worden war. In der Folge wurde ihm eine bis zum 8. April 2011 gültige Aufenthaltsbewilligung erteilt.
Am 15. Oktober 2010 sprach Y._ beim Ausländeramt des Kantons St. Gallen vor und gab bekannt, dass sie sich scheiden lassen wolle; sie beantragte, ihr Ehemann sei aus der Schweiz zu weisen. Zudem hatte sie gegen ihn Strafanzeige wegen Drohung im Zusammenhang mit häuslicher Gewalt erstattet; am 27. Oktober 2010 erging gegen X._ eine polizeiliche Wegweisung mit Rückkehrverbot. In der Folge wurden durch das zuständige Familiengericht wiederholt Eheschutzmassnahmen, namentlich das Getrenntleben der Ehegatten, angeordnet. Am 18. November 2010 ersuchte Y._ das Migrationsamt erneut darum, X._ die Aufenthaltsbewilligung zu entziehen, und erklärte, ihr Ehemann habe sie nur geheiratet, um in der Schweiz leben zu können. Im Jahre 2010 gebar Y._ den Sohn Z._, der wie seine Mutter das Schweizer Bürgerrecht besitzt. Ein familienrichterlich angeordnetes DNA-Gutachten ergab, dass X._ der Vater des Kindes ist.
B. Mit Verfügung vom 21. Juni 2011 lehnte das Migrationsamt eine Verlängerung der Aufenthaltsbewilligung von X._ ab und ordnete an, dieser habe die Schweiz bis spätestens 31. August 2011 zu verlassen. Die dagegen erhobenen kantonalen Rechtsmittel wurden abgewiesen, zuletzt mit Urteil des Verwaltungsgerichts des Kantons St. Gallen vom 18. September 2012.
C. Mit Eingabe vom 22. Oktober 2012 führt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, das angefochtene Urteil aufzuheben und die Aufenthaltsbewilligung zu verlängern. Zudem beantragt er die unentgeltliche Rechtspflege und Verbeiständung. Auf einen Schriftenwechsel wurde verzichtet (Art. 102 Abs. 1 BGG).
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen den kantonal letztinstanzlichen Endentscheid (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG) auf dem Gebiet des Ausländerrechts ist nur zulässig, wenn ein bundes- oder völkerrechtlicher Anspruch auf die anbegehrte Bewilligung besteht (Art. 83 lit. c Ziff. 2 BGG). Der Beschwerdeführer beruft sich in vertretbarer Weise auf einen Anspruch gemäss Art. 50 AuG und Art. 8 EMRK, so dass auf die Beschwerde einzutreten ist. Ob der Anspruch tatsächlich besteht, ist Sache der materiellen Beurteilung (BGE 136 II 113 nicht publ. E. 1.1).
2. 2.1 Ausländische Ehegatten von Schweizerinnen und Schweizern haben Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen (Art. 42 Abs. 1 AuG). Gemäss Art. 50 Abs. 1 AuG besteht der Anspruch nach Auflösung der Ehe oder der Familiengemeinschaft weiter, wenn die Ehegemeinschaft mindestens drei Jahre bestanden hat und eine erfolgreiche Integration besteht (lit. a) oder wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (lit. b). Solche Gründe können namentlich vorliegen, wenn die Ehegattin das Opfer ehelicher Gewalt wurde und die soziale Wiedereingliederung im Herkunftsland stark gefährdet erscheint (Abs. 2). Diese Gründe sind nicht abschliessend; im Rahmen von Art. 50 Abs. 1 lit. b AuG ist auch den Interessen allfälliger Kinder Rechnung zu tragen, falls eine enge Beziehung zu ihnen besteht und sie in der Schweiz ihrerseits gut integriert erscheinen (Botschaft AuG, BBl 2002 3709 Ziff. 1.3.7.6 S. 3754; BGE 138 II 229 E. 3.1; 137 II 345 E. 3.2.2). Dabei sind auch die Anforderungen zu berücksichtigen, die sich aus Art. 8 EMRK ergeben, denn die wichtigen persönlichen Gründe im Sinne von Art. 50 Abs. 1 lit. b AuG können nicht einschränkender verstanden werden als allfällige sich aus Art. 8 EMRK ergebende Ansprüche auf Erteilung bzw. Verlängerung der Aufenthaltsbewilligung (BGE 137 I 247 E. 2.2).
2.2 Unbestritten lebt der Beschwerdeführer nicht mehr mit seiner Ehefrau zusammen, so dass ein Anspruch auf Bewilligung nach Art. 42 AuG nicht besteht. Ebenso wenig ist ein Anspruch nach Art. 50 Abs. 1 lit. a AuG gegeben, da das Zusammenleben weniger als drei Jahre gedauert hat. Wichtige Gründe im Sinne von Art. 50 Abs. 2 AuG werden nicht geltend gemacht. Der Beschwerdeführer macht zwar geltend, eine Rückkehr nach Algerien wäre für ihn schwierig, da sich dort die wirtschaftliche Situation schwer gestalte und er als Christ grundsätzlich mit erschwerten Verhältnissen zu rechnen habe; damit ist aber eine starke Gefährdung der Wiedereingliederung nicht dargetan, zumal der Beschwerdeführer rund vierzig Jahre lang in Algerien gelebt hat und erst seit kurzer Zeit in der Schweiz weilt.
2.3 Der Beschwerdeführer beruft sich in erster Linie auf die Beziehung zu seinem Sohn.
2.3.1 Nach der Rechtsprechung kann sich der sorge- und obhutsberechtigte Elternteil eines Kindes mit Schweizer Bürgerrecht auf ein grundsätzliches Aufenthaltsrecht in der Schweiz berufen, wenn keine dagegen sprechenden ordnungs- und sicherheitspolizeilichen Gründe vorliegen, weil sonst das Schweizer Kind faktisch gezwungen wäre, mit dem Elternteil die Schweiz zu verlassen (BGE 137 I 247 E. 4.2.2; 135 I 153 E. 2.2.4). Der nicht sorge- oder obhutsberechtigte Elternteil hingegen kann schon aus familienrechtlichen Gründen seine Beziehung zum Kind nur in beschränktem Rahmen pflegen, nämlich durch Ausübung des ihm eingeräumten Besuchsrechts. Um dieses wahrnehmen zu können, ist auch im Lichte von Art. 8 EMRK nicht von vornherein erforderlich, dass der ausländische Elternteil dauerhaft im selben Land wie das Kind lebt und dort über ein Anwesenheitsrecht verfügt. Ein Anspruch auf Erteilung einer Aufenthaltsbewilligung ist ausnahmsweise dann anzunehmen, wenn zwischen dem ausländischen Elternteil und seinem im Inland lebenden Kind in wirtschaftlicher und affektiver Hinsicht besonders enge Beziehungen bestehen, die - würde eine Bewilligung verweigert - wegen der Entfernung zum Land, in welches der ausländische Elternteil vermutlich auszureisen hätte, praktisch nicht aufrechterhalten werden könnten. Zudem muss sich der ausländische Elternteil in der Schweiz tadellos verhalten haben. Nur unter diesen kumulativen Voraussetzungen kann das private Interesse am Verbleib im Land gestützt auf ein Besuchsrecht ausnahmsweise das öffentliche Interesse an einer einschränkenden nationalen Einwanderungspolitik im Rahmen von Art. 8 Ziff. 2 EMRK überwiegen (BGE 120 Ib 1 E. 3c S. 5; Urteile 2C_858/2012 vom 8. November 2012 E. 2.2; 2C_1031/2011 vom 22. März 2012 E. 4.1.4). Das Erfordernis der besonderen Intensität der affektiven Beziehung ist regelmässig bloss dann als erfüllt zu erachten, wenn ein grosszügig ausgestaltetes Besuchsrecht eingeräumt ist und dieses kontinuierlich, spontan und reibungslos ausgeübt wird; ein im üblichen Rahmen bestehendes und ausgeübtes Besuchsrecht genügt in der Regel nicht (Urteile 2C_858/2012 vom 8. November 2012 E. 2.3; 2C_138/2012 vom 21. September 2012 E. 2.2; 2C_718/2010 vom 2. März 2011 E. 3.2.1).
2.3.2 Die Vorinstanz hat im Wesentlichen erwogen, der Beschwerdeführer habe nie mit seinem Sohn zusammengelebt, da sich die Ehegatten bereits vor dessen Geburt getrennt hätten. Der Sohn stehe unter der Obhut der Mutter. Der Vater habe noch im Februar 2011 seine Vaterschaft in Zweifel gezogen; er habe ein begleitetes Besuchsrecht von drei Stunden jedes zweite Wochenende, das seit 9. Juli 2011 wahrgenommen werde. Zwischen dem Beschwerdeführer und dem Kind habe sich daher keine besonders enge affektive Beziehung entwickelt. Hinzu komme, dass der Beschwerdeführer jeweils seinen Pass abzugeben habe, was darauf schliessen lasse, dass die Behörden die Möglichkeit einer Kindsentführung nicht ausschliessen würden. Soweit es sich bei diesen Erwägungen um Sachverhaltsfeststellungen handelt, werden sie vom Beschwerdeführer nicht bestritten und sind nicht offensichtlich unrichtig, so dass sie für das Bundesgericht verbindlich sind (Art. 105 Abs. 1 BGG).
2.3.3 Bei dieser Sachlage fehlt es an einer besonders engen affektiven Beziehung im Sinne der dargelegten Rechtsprechung. Das eingeräumte Besuchsrecht ist deutlich unterdurchschnittlich ausgestaltet. Dass sich der Beschwerdeführer nach seinen Angaben dem Sohn tief verbunden fühlt, genügt nicht zur Annahme einer besonders engen affektiven Beziehung. Nicht ausschlaggebend ist, dass der Beschwerdeführer sich strafrechtlich nichts zuschulden kommen liess und seinen Unterhaltspflichten nachkommt, da die genannten Voraussetzungen kumulativ erfüllt sein müssen (vorne E. 2.3.1).
3. Die Beschwerde erweist sich daher als unbegründet. Der Beschwerdeführer trägt die Kosten des Verfahrens (Art. 66 Abs. 1 BGG). Der angefochtene Entscheid entspricht der ständigen Rechtsprechung des Bundesgerichts, so dass die Beschwerde aussichtslos war. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung ist daher abzuweisen (Art. 64 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt, dem Sicherheits- und Justizdepartement und dem Verwaltungsgericht des Kantons St. Gallen sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 7. Januar 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein