Erwägungen:
1. 1.1 Der türkische Staatsangehörige X._, geb. 1982, reiste 1988 im Rahmen des Familiennachzugs in die Schweiz ein und erhielt die Aufenthalts- später die Niederlassungsbewilligung. Am 18. August 2006 heiratete er in der Türkei die aus der gleichen Ortschaft stammende Y._. Im August 2007 reiste sie im Familiennachzug in die Schweiz ein und erhielt die Aufenthaltsbewilligung. Am 14. Juli 2008 kam der gemeinsame Sohn Z._ zur Welt, welcher über die Niederlassungsbewilligung verfügt.
1.2 Mit Strafurteil des Obergerichts Solothurn vom 16. Januar 2008 wurde X._ der qualifizierten Vergewaltigung, qualifizierten sexuellen Nötigung, Freiheitsberaubung und Widerhandlung gegen das Waffengesetz für schuldig befunden und zu einer Freiheitsstrafe von 4 1/2 Jahren verurteilt. Sodann erwirkte X._ im selben Jahr zwei Strafbefehle wegen SVG-Delikten bzw. Benützung der Nationalstrasse ohne gültige Vignette.
1.3 Mit Verfügung vom 7. Dezember 2010 widerrief das Departement des Innern des Kantons Solothurn die Niederlassungsbewilligung von X._, im Wesentlichen unter Hinweis auf die genannten strafrechtlichen Verfehlungen. Gleichzeitig widerrief das Departement auch die Niederlassungsbewilligung seines Sohnes Z._ und verweigerten der Ehefrau Y._ die Verlängerung der Aufenthaltsbewilligung, beides unter Hinweis auf eine seit Juli 2008 bestehende fortgesetzte Fürsorgeabhängigkeit. Das Verwaltungsgericht des Kantons Solothurn wies eine hiegegen eingereichte Beschwerde mit Urteil vom 13. Mai 2011 ab. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 16. Juni 2011 beantragen die drei Betroffenen, das genannte verwaltungsgerichtliche Urteil und die zugrunde liegende Verfügung des Departements aufzuheben und Y._ die Aufenthaltsbewilligung zu verlängern bzw. eventualiter die Angelegenheit zur Verlängerung an "die Vorinstanzen" zurückzuweisen. Im Weiteren wird für das bundesgerichtliche Verfahren um unentgeltliche Rechtspflege und Verbeiständung ersucht.
Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 22. Juni 2011 antragsgemäss die aufschiebende Wirkung zuerkannt.
Das Departement des Innern uns das Verwaltungsgericht des Kantons Solothurn beantragen, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Bundesamt für Migration schliesst auf Abweisung.
2. 2.1 Gegen letztinstanzliche Entscheide über den Widerruf der Niederlassungsbewilligung ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (<ref-ruling> E. 1.2.1 S. 4). Die Zulässigkeit dieses Rechtsmittels in Bezug auf die Nichtverlängerung der Aufenthaltsbewilligung der Beschwerdeführerin 2 setzt demgegenüber das Bestehen eines Rechtsanspruchs auf diese Bewilligung voraus (<ref-law>), welcher sich vorliegend einzig im Verhältnis zu deren Ehemann (Beschwerdeführer 1) oder deren Kind (Beschwerdeführer 3) ergeben könnte (Art. 43 Abs. 1 AuG bzw. Art. 8 EMRK/ <ref-law>), weshalb vorweg der Anwesenheitsstatus der beiden Letztgenannten zu prüfen ist.
2.2 Anfechtungsobjekt bildet ausschliesslich das Urteil des Verwaltungsgerichts; soweit auch die Aufhebung unterinstanzlicher Erkenntnisse beantragt wird, ist darauf nicht einzutreten (Devolutiveffekt; <ref-ruling> E. 1.4 S. 144 mit Hinweis). Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Die nach dem angefochtenen Urteil ausgestellten Beweismittel können als echte Noven im vorliegenden Verfahren nicht berücksichtigt werden.
3. Zu prüfen ist zunächst der Widerruf der Niederlassungsbewilligung des Beschwerdeführers 1.
3.1 Der Beschwerdeführer 1 wurde mit Urteil vom 16. Januar 2008 zu einer Freiheitsstrafe von 4 1/2 Jahren verurteilt. Die ausgefällte Freiheitsstrafe sprengt die Grenze zur längerfristigen Freiheitsstrafe um ein Vielfaches (<ref-ruling> E. 4.2 und E. 4.5 S. 379 ff.), womit der Widerrufsgrund von Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. b AuG, welcher auch bei einem niedergelassenen Ausländer mit mehr als 15-jährigem ununterbrochenem und ordnungsgemässem Aufenthalt in der Schweiz zur Anwendung kommen kann (Art. 63 Abs. 2 AuG; vgl. <ref-ruling> E. 4), erfüllt ist.
3.2 Ein Widerruf der Niederlassungsbewilligung rechtfertigt sich nur, wenn die jeweils im Einzelfall vorzunehmende Interessenabwägung die entsprechende Massnahme als verhältnismässig erscheinen lässt. Dabei sind namentlich die Schwere des Verschuldens, der Grad der Integration bzw. die Dauer der bisherigen Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen (<ref-ruling> E. 4.3 ff. S. 381 ff.; vgl. Art. 96 Abs. 1 AuG). Analoge Kriterien würden sich auch aus Art. 8 Ziff. 2 EMRK bzw. <ref-law> in Verbindung mit <ref-law> ergeben, wobei sich der Beschwerdeführer 1 nur dann auf das Recht auf Achtung des Familienlebens im Verhältnis zu seinem Sohn berufen könnte (<ref-ruling> E. 1.3.2 S. 146), wenn dessen eigene Niederlassungsbewilligung weiterhin Bestand haben sollte (dazu unten E. 4.1).
3.3 Die Vorinstanz ging zu Recht von einem schweren Verschulden des Beschwerdeführers 1 aus. Laut dem Strafurteil des Obergerichts Solothurn vom 16. Januar 2008 hat er mit seinem Verhalten das Selbstbestimmungsrecht des Opfers in sexueller Hinsicht sowie dessen körperliche Bewegungsfreiheit in schwerwiegender Weise verletzt, wobei er rücksichtslos und grausam vorging und sich egoistisch verhielt. Wohl ist beim Beschwerdeführer 1 nicht von einem anhaltend straffälligen Ausländer zu sprechen, jedoch liegt mit Blick auf das hohe Strafmass und die Deliktsart (Sexualdelikt) eine schwere Straftat vor, was bei einem Drittstaatsangehörigen, bei welchen auch generalpräventive Überlegungen berücksichtigt werden können, für sich allein zum Anlass genommen werden durfte, fremdenpolizeiliche Entfernungsmassnahmen zu ergreifen. Zwar liegt die Tat bereits gewisse Zeit zurück (5. Oktober 2003); wie die Vorinstanz aber zu Recht ins Feld führt, hat das Verhalten des Beschwerdeführers 1 im Strafvollzug (2008-2011) noch in jüngerer Zeit zu Klagen Anlass gegeben, fiel er doch mehrfach durch äusserst aggressives Verhalten auf, welches verbunden mit der Art und Weise der damaligen Tatbegehung (mit äusserster Brutalität begangene Vergewaltigung der Ex-Freundin aus Kränkung wegen der Beendigung der Beziehung) den Schluss aufdrängt, dass von ihm aufgrund seiner offensichtlich ungenügenden Impulskontrolle unverändert eine manifeste Gefahr für die öffentliche Ordnung ausgeht. Entsprechend ist von einem grossen öffentlichen Interesse an seiner Entfernung auszugehen.
3.4 Der rund 30-jährige Beschwerdeführer befindet sich seit seinem 6. Altersjahr in der Schweiz, wo auch seine Eltern und Geschwister leben. Eine besondere wirtschaftliche oder soziale Integration hierzulande ist nach den Feststellungen der Vorinstanz nicht dargetan. Seine 2007 in die Schweiz nachgezogene Ehefrau stammt ebenfalls aus der Türkei, was auch bei ihm für eine enge Verbundenheit mit seinem Heimatland spricht, wo er regelmässig seine Ferien verbracht hat und von wo seine Eltern stammen. Er darf ohne weiteres als mit der Sprache, der Kultur und den örtlichen Gepflogenheiten als vertraut betrachtet werden, womit eine Rückkehr und Reintegration ins Heimatland für ihn mit keinen unüberwindbaren Schwierigkeiten verbunden sein dürfte. Die Schwere der Tat lässt im Übrigen eine Rücksichtnahme darauf nicht zu, dass es dem Beschwerdeführer 1 nach seiner Entlassung aus dem Strafvollzug gelungen ist, wieder einer Berufstätigkeit nachzukommen. Ebenso wenig kommt dem Umstand ein ausschlaggebendes Gewicht zu, dass Ehefrau und Kind des Beschwerdeführers (seit kurzem) ebenfalls in der Schweiz leben. Dies unabhängig davon, dass die Beschwerdeführer 2 und 3 - wie sich aus dem Folgenden ergibt (E. 4) - die Schweiz ebenfalls verlassen müssen. Auch wenn deren Anwesenheitsberechtigung unangetastet bliebe, wäre der erst seit kurzem in der Schweiz lebenden und erst nach Deliktsbegehung übersiedelten Beschwerdeführerin 2 zuzumuten, ihrem Ehemann in die gemeinsame Heimat zu folgen. Gleiches gilt für den Beschwerdeführer 3, der sich (geb. 2008) noch im Kleinkindalter befindet und über das Elternhaus hinaus altersadäquat noch keine soziale Kontakte zu knüpfen vermochte.
3.5 Damit überwiegen die öffentlichen Interessen an der Entfernung des Beschwerdeführers 1 dessen private Interessen an einem weiteren Verbleib in der Schweiz. Der Widerruf der Niederlassungsbewilligung erweist sich als bundesrechts- und konventionskonform.
4. 4.1 Der als Beschwerdeführer 3 auftretende minderjährige Sohn des Beschwerdeführers 1 besitzt als dessen Kind ebenfalls die Niederlassungsbewilligung (Art. 43 Abs. 3 AuG). Die Niederlassungsbewilligung kann unter anderem dann widerrufen werden, wenn der Ausländer dauerhaft und in erheblichem Mass auf Sozialhilfe angewiesen ist (Art. 63 Abs. 1 lit. c AuG). Gefordert wird nach der Rechtsprechung die Gefahr einer fortgesetzten und erheblichen Fürsorgeabhängigkeit; blosse finanzielle Bedenken genügen demgegenüber nicht (vgl. Urteil 2C_672/2008 vom 9. April 2009 E. 2.2 mit Hinweisen). Nach den Feststellungen im angefochtenen Entscheid wurden Mutter und Sohn monatlich mit einem Betrag von mindestens Fr. 2'235.-- (Grundbedarf und Mietkosten) von der Sozialhilfe unterstützt. Insgesamt beliefen sich die Fürsorgekosten von Juli 2008 bis Februar 2011 auf Fr. 76'175.30, was im Sinne der Rechtsprechung als erheblich erscheint (vgl. vorgenanntes Urteil 2C_672/2008 E. 3.3 mit Hinweis). Da nach dem Gesagten der Beschwerdeführer 1 das Land so oder so zu verlassen hat (E. 3.4), ist sein seit kurzem in der Schweiz erzieltes Einkommen nicht geeignet, die Gefahr einer fortgesetzten Fürsorgeabhängigkeit seiner Ehefrau und seines Kindes zu beseitigen. Auch führt die Vorinstanz zu Recht aus, dass es der Beschwerdeführerin 2, welche in der Türkei nie einer Arbeit nachgegangen und keine Lehre absolviert hat, angesichts sprachlicher Defizite nicht ohne weiteres möglich sein dürfte, (ergänzend zur ihr obliegenden Kinderbetreuung) eine Verdienstmöglichkeit zu finden, welche ihr und ihrem Kind in absehbarer Zeit ein unterstützungsfreies Auskommen garantieren könnte. Der Schluss der Vorinstanz, wonach die Beschwerdeführer 2 und 3 auf längere Sicht in erheblichem Masse sozialhilfeabhängig bleiben würden, ist mit Blick auf die genannten Umstände nicht bundesrechtswidrig. Der Widerruf der Niederlassungsbewilligung des Beschwerdeführers 3 erweist sich auch nicht als unverhältnismässig, zumal sich seine sozialen Bindungen als 3-Jähriger noch vollständig auf die Eltern ausrichten, von welchen er durch die streitige Massnahme nicht getrennt wird. Insofern ist dadurch auch das Recht auf Achtung des Familienlebens (Art. 8 EMRK, <ref-law>) nicht betroffen.
4.2 Besitzen - nachdem sich der Widerruf der Niederlassungsbewilligungen der Beschwerdeführer 1 und 3 als rechtmässig erwiesen hat - weder ihr Ehemann noch ihr Kind ein gefestigtes Anwesenheitsrecht in der Schweiz, fehlt es der Beschwerdeführerin 2, welche bloss im Besitz einer (inzwischen abgelaufenen) abgeleiteten Aufenthaltsbewilligung im Rahmen des Familiennachzugs war, an einem Rechtsanspruch auf deren Verlängerung. Auf die Beschwerde ist insofern, soweit die Beschwerdeführerin 2 betreffend, nicht einzutreten (oben E. 2.1).
5. Die Beschwerde erweist sich nach dem Gesagten als offensichtlich unbegründet und ist daher im vereinfachten Verfahren nach <ref-law> mit summarischer Begründung abzuweisen.
Aufgrund der im angefochtenen Urteil zutreffend wiedergegebenen Sach- und Rechtslage besass das vorliegende Rechtsmittel keine ernsthaften Erfolgsaussichten; das Gesuch um unentgeltliche Rechtspflege und Verbeiständung ist demzufolge abzuweisen (<ref-law>). Somit sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführern unter solidarischer Haftung aufzuerlegen (Art. 66 Abs. 1 und 5 BGG), wobei ihrer finanziellen Lage bei der Bemessung der Gerichtsgebühr Rechnung zu tragen ist (<ref-law>). Auf Zusprechung einer Parteientschädigung besteht kein Anspruch (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern auferlegt, unter solidarischer Haftung.
4. Dieses Urteil wird den Beschwerdeführern, dem Departement des Innern des Kantons Solothurn, dem Verwaltungsgericht des Kantons Solothurn und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 10. April 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Moser