Erwägungen:
1. 1.1 X._, geb. 1976, Staatsangehörige von Montenegro, heiratete am 31. Juli 2003 den in der Schweiz niedergelassenen Landsmann Y._. Am 20. Februar 2004 reiste sie in die Schweiz ein. In der Folge erhielt sie die Aufenthaltsbewilligung im Kanton St. Gallen. Am 23. Oktober 2005 wurde der Sohn Z._ geboren.
Nach einem gemeinsamen Besuch der Heimat reist der Ehemann am 21. Mai 2006 allein in die Schweiz zurück. X._ blieb zunächst in Montenegro, kehrte dann zwar auch in die Schweiz zurück, lebte aber nicht mehr beim Ehemann. Nachdem sie am 17. Oktober 2006 Eheschutzmassnahmen beantragt hatte, regelte der zuständige Familienrichter am 5. Dezember 2006 das Getrenntleben, übertrug die elterliche Sorge für den Sohn der Mutter und ordnete das Besuchsrecht des Vaters.
1.2 Am 5. Juni 2007 wies das kantonale Ausländeramt St. Gallen ein Gesuch von X._ um Verlängerung der Aufenthaltsbewilligung ab. Ein Rekurs beim Justiz- und Polizeidepartement des Kantons St. Gallen (heute: Sicherheits- und Justizdepartement) sowie im Anschluss daran eine Beschwerde beim Verwaltungsgericht des Kantons St. Gallen blieben erfolglos.
1.3 Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 13. Mai 2008 an das Bundesgericht beantragt X._, das Urteil des Verwaltungsgerichts vom 3. April 2008 aufzuheben und ihr die Aufenthaltsbewilligung zu verlängern; eventuell sei die Sache an das Verwaltungsgericht zurückzuweisen zur Vornahme weiterer Abklärungen und zu neuem Entscheid. Prozessual wird um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung ersucht.
Das kantonale Sicherheits- und Justizdepartement sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Das Verwaltungsgericht stellt Antrag auf Abweisung der Beschwerde, soweit darauf einzutreten sei.
1.4 Mit Verfügung vom 19. Mai 2008 erteilte der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung.
2. 2.1 Nach Art. 83 lit. c Ziff. 2 BGG ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig gegen Entscheide auf dem Gebiet des Ausländerrechts über Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt.
2.2 Am 1. Januar 2008 ist das Bundesgesetz über die Ausländerinnen und Ausländer vom 16. Dezember 2005 (AuG; SR 142.20) in Kraft getreten. Nach Art. 126 AuG bleibt das alte Recht anwendbar auf Gesuche, die vor dem Inkrafttreten des neuen Gesetzes eingereicht worden sind. Das Verfahren richtet sich jedoch nach dem neuen Recht. Im vorliegenden Verfahren ist vor dem Bundesgericht nicht mehr strittig, dass in materiell-rechtlicher Hinsicht auf das alte Recht abzustellen ist. Die Beschwerdeführerin erhebt im Unterschied zum vorinstanzlichen Verfahren keine entsprechende Rüge, weshalb darauf nicht zurückzukommen ist (vgl. Art. 42 Abs. 2 BGG). Ob ein Anspruch auf eine Bewilligung besteht, ist eine Frage des materiellen Rechts. Für die anspruchsabhängige Zulässigkeit eines Rechtsmittels, wie dies bei der Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht zutrifft, bedeutet das, dass anhand des alten Rechts zu prüfen ist, ob ein Anspruch auf Bewilligung besteht.
2.3 Die Beschwerdeführerin kann weder aus Art. 17 Abs. 2 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 S. 121) noch aus Art. 8 EMRK bzw. Art. 13 BV mit Blick auf ihre Ehe bzw. auf ihre Beziehung zum in der Schweiz niedergelassenen Ehemann einen Anspruch auf Anwesenheit ableiten. Art. 17 Abs. 2 ANAG würde dafür voraussetzen, dass die Eheleute zusammen wohnen; für eine Berufung auf Art. 8 EMRK bzw. Art. 13 BV wäre erforderlich, dass die Ehe intakt ist und tatsächlich gelebt wird (vgl. BGE 127 II 60 E. 1d/aa S. 64 f., mit Hinweisen). Beide Voraussetzungen sind nicht mehr erfüllt, seitdem die Eheleute getrennt leben und dies auch gerichtlich so geregelt worden ist. Dass die gerichtliche Anordnung des Getrenntlebens lediglich in einem Eheschutzverfahren erging, ist insoweit nicht erheblich, kommt es doch in erster Linie auf die faktischen Umstände an. Das Eheschutzverfahren gibt immerhin einen zusätzlichen Anhaltspunkt dafür, ob eine Ehe noch gelebt wird oder nicht.
2.4 Die Beschwerdeführerin kann sich jedoch mit Blick auf ihren Sohn auf Art. 8 EMRK und Art. 13 BV berufen, da dieser über die Niederlassungsbewilligung und damit über eine gefestigte Anwesenheit in der Schweiz verfügt und ihre Beziehung zum Sohn, für den sie die elterliche Sorge ausübt, tatsächlich gelebt wird und intakt ist (vgl. BGE 130 II 281 E. 3 S. 284 ff.; 127 II 60 E. 1d/bb S. 65 f., mit Hinweisen). Insoweit ist auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten einzutreten.
2.5 Unzulässig ist die Beschwerde jedoch, soweit die Beschwerdeführerin rügt, der angefochtene Entscheid verletze Bundesrecht auch im Bereich des behördlichen Ermessens. Das betrifft insbesondere die Frage, ob ihr - namentlich wegen der angeblichen psychischen ehelichen Gewalt - auch ohne Anspruch die Aufenthaltsbewilligung hätte verlängert werden müssen. Insofern ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten mangels Anspruchs in Anwendung von Art. 83 lit. c Ziff. 2 BGG ausgeschlossen. In der Sache kann die Beschwerde auch nicht als subsidiäre Verfassungsbeschwerde entgegengenommen werden, da es der Beschwerdeführerin dafür am nach Art. 115 lit. b BGG erforderlichen rechtlich geschützten Interesse fehlt (vgl. BGE 133 I 185). Trotz fehlender Legitimation in der Sache kann mit subsidiärer Verfassungsbeschwerde allenfalls die Verletzung von Parteirechten im kantonalen Verfahren gerügt werden, wenn darin eine formelle Rechtsverweigerung liegt. Damit kann an sich auch ein Verstoss gegen den Anspruch auf rechtliches Gehör geltend gemacht werden, doch sind solche Rügen unzulässig, die auf eine materielle Prüfung hinauslaufen; namentlich ist die Anfechtung der Beweiswürdigung ausgeschlossen (vgl. das Urteil des Bundesgerichts 2D_13/2007 vom 14. Mai 2007, E. 2.3). Die von der Beschwerdeführerin geltend gemachten Verstösse gegen ihren Anspruch auf rechtliches Gehör, insbesondere die angeblich verweigerten Beweisabnahmen, laufen in diesem Sinne auf eine Anfechtung der Beweiswürdigung durch das Verwaltungsgericht hinaus und sind daher unzulässig. Auf die Beschwerde kann damit nicht eingetreten werden, soweit sie sich darauf bezieht, ob der Beschwerdeführerin eine im Ermessen der Behörden liegende Verlängerung der Bewilligung hätte gewährt werden müssen.
3. 3.1 In der Sache ist unter dem Gesichtspunkt von Art. 8 EMRK bzw. Art. 13 BV zu berücksichtigen, dass der Sohn der Beschwerdeführerin noch nicht drei Jahre alt ist und sich in einem anpassungsfähigen Alter befindet. Das Sorgerecht steht der Mutter, nicht dem in der Schweiz niedergelassenen Vater zu. In einem solchen Fall ist zu beachten, dass das Kind unter die Sorge desjenigen Elternteils gestellt wurde, der in der Schweiz kein selbständiges Anwesenheitsrecht hat; grundsätzlich hat es als Konsequenz der im Eheschutz- oder Scheidungsverfahren getroffenen Regelung dessen Lebensschicksal zu teilen und diesem ins Ausland zu folgen (Urteil 2A.508/2005 vom 16. September 2005, E. 2.2.2). Für ein Kind in dieser Lage ist das regelmässig zumutbar (vgl. BGE 127 II 61 E. 2a S. 67). So verhält es sich vorbehaltlos dann, wenn der nicht sorgeberechtigte Elternteil kein Anwesenheitsrecht in der Schweiz hat, aber auch dann, wenn kein Besuchsrecht eines in der Schweiz anwesenheitsberechtigten Elternteils besteht oder aber wenn ein solches nicht ausgeübt wird und damit belanglos bleibt (vgl. BGE 127 II 61 E. 2 S. 67 ff.; 122 II 289 E. 3c S. 298). Vorliegend ist der Vater des Kindes in der Schweiz niedergelassen, und es ist ihm ein Besuchsrecht eingeräumt. Damit ist eine Verhältnismässigkeitsprüfung gemäss Art. 8 Ziff. 2 EMRK erforderlich.
3.2 Anknüpfungspunkt für die von der Beschwerdeführerin geltend gemachte Bewilligung bildet allein die Erschwerung der Ausübung des Besuchsrechts durch den hier niedergelassenen Vater. Anders als der sorgeberechtigte Elternteil kann der Ausländer mit Besuchsrecht die familiäre Beziehung zu einem Kind zum Vornherein nur in einem beschränkten Rahmen, nämlich durch Ausübung des ihm eingeräumten Besuchsrechts, leben; ein Zusammenwohnen fällt ausser Betracht. Dazu ist nicht unabdingbar, dass er sich dauernd im gleichen Land aufhält wie das Kind. Beansprucht nicht der besuchsberechtigte, sondern der sorgeberechtigte Elternteil gestützt auf die Anwesenheitsberechtigung des Kindes eine ausländerrechtliche Bewilligung, so verlangt die bundesgerichtliche Rechtsprechung dafür folgende Voraussetzungen, damit dem Anspruch Folge zu leisten ist: Erforderlich ist einerseits eine besondere Intensität der Beziehung zwischen dem hier anwesenden besuchsberechtigten Elternteil und dem Kind in affektiver und wirtschaftlicher Hinsicht, andererseits ein tadelloses Verhalten des sorgeberechtigten Elternteils, welcher um Bewilligung ersucht. Dabei ist mit noch grösserer Zurückhaltung auf eine Pflicht zur Bewilligungserteilung zu schliessen als im Falle des besuchsberechtigten Ausländers, der selber, im Hinblick auf die Ausübung seines Besuchsrechts, um Bewilligung ersucht; der sorgeberechtigte Elternteil, der die Bewilligung einzig zur Erleichterung der Ausübung des Besuchsrechts zwischen dem Kind und dem andern Elternteil erhältlich machen will, soll dies nur bei Vorliegen besonderer Umstände tun können (vgl. die Urteile 2A.562/2006 vom 16. Februar 2007, E. 3.4.1, und 2A.508/2005 vom 16. September 2005, E. 2.2.3, mit Hinweisen).
3.3 Solche besonderen Umstände liegen hier nicht vor. Zwar haben sich beide Eheleute nie nachweisbar ein Fehlverhalten zuschulden kommen lassen und scheint der Vater das ihm eingeräumte Besuchsrecht wahrzunehmen und die Unterhaltsbeiträge zu bezahlen. Die Beziehung zum Kind ist aber nicht besonders eng. Während längerer Zeit hatte der Vater sogar gar keinen Kontakt zum Sohn. Der Eheschutzrichter räumte ihm in der Folge nur ein minimales Besuchsrecht ein, wobei er es für erforderlich hielt, zu dessen Überwachung eine Erziehungsbeistandschaft anzuordnen. Im Übrigen ist die Distanz zwischen der Schweiz und dem Heimatland der Beschwerdeführerin zwar nicht zu unterschätzen, aber auch nicht derart gross, dass sich ein Kontakt zwischen Vater und Kind überhaupt nicht aufrechterhalten liesse. Schliesslich hat die Beschwerdeführerin den grössten Teil ihres Lebens und insbesondere ihre Jugend in ihrer Heimat verbracht. Sie lebt heute erst seit rund vier Jahren in der Schweiz und weist keine besonders engen Beziehungen zu diesem Land auf.
3.4 Die Nichtverlängerung der Aufenthaltsbewilligung erweist sich demnach als verhältnismässig, weshalb der angefochtene Entscheid nicht gegen Bundesrecht verstösst.
4. Die Beschwerde ist offensichtlich unbegründet und im vereinfachten Verfahren nach Art. 109 BGG abzuweisen, soweit darauf eingetreten werden kann.
Das Gesuch um Erteilung der unentgeltlichen Rechtspflege und Verbeiständung ist wegen Aussichtslosigkeit des Begehrens abzuweisen (vgl. Art. 64 BGG). Mit Blick auf den Verfahrensausgang wird die unterliegende Beschwerdeführerin somit kostenpflichtig (Art. 66 Abs. 1 und Art. 65 BGG), wobei ihren angespannten finanziellen Verhältnissen bei der Festlegung der Gerichtsgebühr angemessen Rechnung getragen werden kann (vgl. Art. 65 Abs. 2 BGG). Eine Parteientschädigung ist nicht geschuldet (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht im Verfahren nach
Art. 109 BGG:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'000.-- werden der Beschwerdeführerin auferlegt.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons St. Gallen und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 1. September 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Uebersax