Sachverhalt:
A. Y._, geboren 1966, ist Mutter zweier 1992 und 1999 geborener Kinder. Ab März 2003 war sie als selbstständig erwerbende Coiffeuse tätig. Unter Hinweis auf "Krankheit" meldete Sie sich am 23. Dezember 2005 bei der Invalidenversicherung zum Leistungsbezug an (Berufsberatung, Umschulung auf eine neue Tätigkeit). Die IV-Stelle des Kantons Zürich führte erwerbliche Abklärungen durch und holte Berichte ein des Dr. med. B._, Innere Medizin FMH, vom 11. Januar 2006, sowie der Rheumaklinik und Institut für Physikalische Medizin am Spital X._ vom 14. Februar 2006. Am 27. Januar 2006 war Y._ in einen Auffahrunfall verwickelt worden, bei welchem sie sich eine einfache Distorsion der Halswirbelsäule (HWS) ohne neurologische Ausfälle zuzog (Bericht des Dr. med. C._, praktischer Arzt FMH, vom 18. August 2006). Die IV zog die Akten der Unfallversicherung bei (Helsana Versicherungen AG, Zürich; im Folgenden: Helsana). Nach durchgeführtem Vorbescheidverfahren und Eingang eines Berichtes der Psychologin H._, vom 17. Januar 2007, sowie des Dr. med. G._, FMH Innere Medizin und Rheumatologie, vom 19./23. Januar 2007, teilte die IV-Stelle der Rechtsvertreterin von Y._ am 16. Mai 2007 mit, sie verzichte auf eine zunächst in Aussicht genommene Medas-Begutachtung und schliesse sich mit Zusatzfragen dem durch die Helsana veranlassten Gutachten an. Am 8. Oktober 2007 erging das interdisziplinäre Gutachten des Instituts Z._ (mit Ergänzung vom 13. Juni 2008), welches u.a. ein psychiatrisches Teilgutachten der Frau Dr. med. E._, Fachärztin FMH für Psychiatrie und Psychotherapie, vom 3. September 2007 enthielt. Am 10. Juli 2008 teilte die IV-Stelle Y._ mit, es sei eine erneute medizinische Abklärung durch Dr. med. O._, FMH für Psychiatrie und Psychotherapie, notwendig und hielt daran in der Folge fest (Brief vom 14. August 2008; Verfügung vom 16. September 2008). Das Gutachten des Dr. med. O._ erging am 23. Februar 2009. Y._ liess hiezu eine Zweitmeinung des Fachpsychologen R._, vom 21. April 2009 einholen. Die IV-Stelle ersuchte den Regionalen Ärztlichen Dienst (RAD; Dr. med. T._, FMH Allgemeinmedizin) um Beurteilung vom 12. Mai 2009 und verfügte am 28. Mai 2009, es bestehe kein Anspruch auf eine Invalidenrente.
B. Die hiegegen erhobene Beschwerde der Y._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 24. Januar 2011 ab.
C. Y._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und unter Aufhebung des angefochtenen Entscheides die Zusprechung einer ganzen Invalidenrente ab 1. Dezember 2005 beantragen. Eventualiter sei der vorinstanzliche Entscheid aufzuheben und die IV zu verpflichten, eine neue Begutachtung zu veranlassen und hernach über den Rentenanspruch neu zu verfügen. In prozessualer Hinsicht ersucht Y._ um Gewährung der unentgeltlichen Prozessführung und Verbeiständung.
Das Bundesgericht weist das Gesuch um unentgeltliche Rechtspflege mit Verfügung vom 12. April 2011 ab.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2. Streitgegenstand ist der Rentenanspruch der Versicherten und dabei insbesondere die Frage, ob das kantonale Gericht in bundesrechtskonformer Würdigung der medizinischen Akten gestützt auf das Gutachten des Dr. med. O._ vom 23. Februar 2009 einen anspruchsbegründenden Gesundheitsschaden, namentlich eine nur ausnahmsweise invalidisierende posttraumatische Belastungsstörung, verneinte.
2.1 Die Vorinstanz würdigte die medizinischen Akten einlässlich. Sie erwog, die im Gutachten des Instituts Z._ gestellte Diagnose einer schweren depressiven Episode sei nicht überzeugend und nachvollziehbar begründet, weshalb zunächst lediglich von einer anhaltenden somatoformen Schmerzstörung auszugehen sei. Die Gesamtwürdigung der bei Fehlen einer psychiatrischen Komorbidität zu beachtenden Kriterien führe zum Ergebnis, dass insgesamt höchstens das Kriterium der körperlichen Begleiterkrankung erfüllt und damit der Schluss unzulässig sei, die willentliche Schmerzüberwindung wäre ausnahmsweise unzumutbar. In somatischer Hinsicht könne gestützt auf das Gutachten des Instituts Z._ von einer neurologisch bedingten Einschränkung der Arbeitsfähigkeit von 20 % ausgegangen werden.
2.2 Die Beschwerdeführerin rügt, das kantonale Gericht habe den Sachverhalt offensichtlich unrichtig festgestellt und die Beweise willkürlich gewürdigt. Gestützt auf das Gutachten der Frau Dr. med. E._, die testpsychologischen Untersuchungen, die Fremdauskünfte und den Bericht der Psychologin H._ sowie die psychiatrische Beurteilung im Spital X._ sei erwiesen, dass sie zum Zeitpunkt der Begutachtung durch Frau Dr. med. E._ (psychiatrische Exploration vom 11. Juli 2007) an einer mittelschweren bis schweren Depression gelitten habe, die medikamentös behandelt worden sei. Sodann werde im angefochtenen Entscheid in Verletzung von Art. 6 Ziff. 1 EMRK und Art. 95 BGG weder auf das von ihr aufgelegte Gutachten des Psychologen R._ vom 21. April 2009 eingegangen noch auf die Rügen betreffend fehlende Beweiskraft Gutachtens O._. Ausgehend von den Einschätzungen des lic. phil. R._ sei eine psychische Komorbidität von erheblicher Schwere, Ausprägung und Dauer anzunehmen und von einer 70%igen Arbeitsunfähigkeit auszugehen. Gestützt auf den vorinstanzlichen Einkommensvergleich ergebe sich daraus ein Anspruch auf eine ganze Rente der Invalidenversicherung.
3. 3.1 Für die Anspruchsberechtigung ist der Gesundheitszustand zum Zeitpunkt des Verfügungserlasses (28. Mai 2009) massgebend, weshalb die Beschwerdegegnerin angesichts der länger zurückliegenden Exploration durch Frau Dr. med. E._ vom 11. Juli 2007 bereits unter diesem Aspekt zu Recht eine erneute Begutachtung (bei Dr. med. O._; Expertise vom 23. Februar 2009) veranlasst hatte (vgl. Stellungnahme der IV-Stelle vom 14. August 2008). Für eine aktualisierte Beurteilung bestand umso mehr Anlass, als die behandelnde Psychologin H._ am 10. September 2008 eine langsame Verbesserung der depressiven Symptomatik feststellte, indem sie diese als deutlich gemindert und nurmehr leicht erachtete (im Gutachten des Instituts Z._ wurde eine schwere depressive Episode [ICD-10 F32.2] diagnostiziert).
3.2 Des Weiteren legte das kantonale Gericht nachvollziehbar begründet dar, weshalb es die namentlich im Gutachten des Instituts Z._ erhobene Diagnose einer schweren depressiven Episode (ICD-10 F32.2) für nicht plausibel erachtete (E. 4.1 des angefochtenen Entscheides). Von einer willkürlichen Beweiswürdigung kann keine Rede sein. Eine solche liegt nur vor, wenn der Entscheid offensichtlich unhaltbar ist, zur tatsächlichen Situation im Widerspruch steht oder auf einem offenkundigen Fehler beruht, nicht aber, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre (BGE 127 I 54 E. 2b S. 56). So verhält es sich hier nicht. Auch wenn nach den insoweit zutreffenden Vorbringen der Beschwerdeführerin der Umstand allein, dass ein Parteigutachten von einer Partei eingeholt und in das Verfahren eingebracht worden ist, noch keine Zweifel an dessen Beweiswert rechtfertigt, ist praxisgemäss nicht ohne triftigen Grund von einem Verwaltungsgutachten abzuweichen (BGE 125 V 351 E. 3b/dd S. 353). Dass es sich beim Psychologen lic. phil. R._ nicht um einen Arzt handelt, hat die Vorinstanz zu Recht berücksichtigt (Urteile 9C_736/2009 vom 26. Januar 2010 E. 2.1 und I 178/00 vom 3. August 2000 E. 4a) und im Übrigen - entgegen den beschwerdeführerischen Vorbringen - dessen Beurteilung nicht ausser Acht gelassen, sondern erwogen, es könne offen bleiben, ob die unbestrittenermassen vorhandene depressive Störung der Versicherten als leicht oder, wie von lic. phil. R._ postuliert, als mittelschwer zu qualifizieren sei, weil kein Ausnahmefall vorliege von der grundsätzlich zumutbaren Willensanstrengung zur Schmerzüberwindung. Die depressive Störung sei, gestützt auf die Beurteilungen der Frau Dr. med. E._, des Dr. med. O._ und der behandelnden Psychotherapeutin H._, als Begleiterscheinung des Schmerzsyndroms, nicht aber als Beeinträchtigung im Sinne einer psychischen Komorbidität zu qualifizieren. Diese Würdigung hält vor Bundesrecht stand. Im Übrigen ist die (einzig) vom Psychologen R._ erhobene Diagnose einer posttraumatischen Belastungsstörung (ICD-10 F43.1) bereits deshalb nicht einleuchtend, weil diese Diagnose gemäss ICD-10 voraussetzt, dass die Störung innerhalb von sechs Monaten nach einem traumatisierenden Ereignis von aussergewöhnlicher Schwere auftritt, der Psychologe R._ als Auslöser (lediglich) bereits mehrere Jahre zurückliegende Faktoren anführt, während in den umfangreichen medizinischen Akten aber zuvor kein entsprechender Befund erhoben wurde (vgl. z.B. Urteil I 683/06 vom 29. August 2007 E. 3.3, publiziert in SVR 2008 IV Nr. 23 S. 71 ff.) und der langanhaltende Verlauf allein kein konstitutives Merkmal sein kann (Urteil I 705/06 vom 16. August 2007 E. 3.3.1). Davon abgesehen wirkt auch eine posttraumatische Belastungsstörung an sich nicht invalidierend, sondern es muss dargelegt sein, inwiefern sie nicht durch zumutbare Willensanstrengung überwindbar sein soll (Urteil 9C_554/2009 vom 18. August 2009 E. 6; die Überwindbarkeit hat die Vorinstanz bezogen auf die Somatisierungsstörung korrekt bejaht). Die im Einzelnen gegen die Beweiskraft des Gutachtens O._ vorgebrachten Argumente (Ungenauigkeiten in der biografischen Anamnese bzw. fehlende Chronologie) sind - soweit die entsprechenden Rügen überhaupt zutreffen - nicht geeignet, die Beweiskraft des Gutachtens in Frage zu stellen. Entgegen den Ausführungen in der Beschwerde erwähnte Dr. med. O._ beispielsweise einen (ersten) Auffahrunfall vom 17. April 1998 in der äusserst umfangreichen Darstellung der Vorakten ebenso wie die teilweise sehr schwierigen biographischen Umstände, etwa in Zusammenhang mit der Inhaftierung des Vaters oder mit dem Tod des Cousins; die Todesjahre der Eltern finden sich im interdisziplinären Gutachten des Instituts Z._ ebenfalls nicht, den genauen Daten kommt für die Beurteilung des Gesundheitszustandes der Beschwerdeführerin auch keine entscheidende Bedeutung zu. Auch dass Dr. med. O._ entgegen den testpsychologischen Resultaten eine schwere depressive Episode verneinte, spricht nicht gegen die Beweistauglichkeit seiner Ausführungen, weil die Rechtsprechung diesen Testverfahren höchstens ergänzende Funktion zuerkennt, während die klinische Untersuchung mit Anamneseerhebung, Symptomerfassung und Verhaltensbeobachtung entscheidend bleibt (z.B. Urteile 9C_458/2008 vom 23. September 2008 E. 4.2, 9C_44/2007 vom 7. April 2008 E. 3.2 und I 391/06 vom 9. August 2006 E. 3.2.2). Hinsichtlich des fehlenden sozialen Rückzugs kann auf die vorinstanzlichen Erwägungen verwiesen werden, ebenso bezüglich des nicht erfüllten Kriteriums einer gescheiterten konsequent durchgeführten Behandlung (Art. 109 Abs. 3 BGG). Eine Neubegutachtung ist nicht angezeigt.
4. Die offensichtlich unbegründete Beschwerde wird im Verfahren nach Art. 109 Abs. 2 lit. a BGG und ohne Durchführung eines Schriftenwechsels erledigt (Art. 102 Abs. 1 BGG).
5. Die Gerichtskosten (Art. 65 BGG) gehen ausgangsgemäss zu Lasten der Beschwerdeführerin (Art. 66 Abs. 1 Satz 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 27. Mai 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Bollinger Hammerle