Sachverhalt:
A. Die 1968 geborene G._ meldete sich im September 2006 bei der Invalidenversicherung zum Leistungsbezug an. Im Rahmen der Sachverhaltsabklärung holte die IV-Stelle des Kantons Zürich u.a. beim Institut X._ das polydisziplinäre Gutachten vom 21. Februar 2008 und die Stellungnahme vom 13. Januar 2009 sowie bei Dr. med. K._ das psychiatrische Gutachten vom 4. Juli 2010 und die Stellungnahme vom 19. Oktober 2010 ein. Nach Durchführung des Vorbescheidverfahrens verneinte die Verwaltung mit Verfügung vom 18. Januar 2011 einen Rentenanspruch bei einem Invaliditätsgrad von 30 %.
B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 24. Juli 2012 ab, soweit es darauf eintrat.
C. G._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten folgende Rechtsbegehren stellen:
"1. Der Entscheid [vom 24. Juli 2012] sei aufzuheben und es sei die Beschwerdegegnerin zu verpflichten, die gesetzlichen Leistungen aus IVG auszurichten.
2. Es sei die Beschwerdegegnerin zu verpflichten, der Beschwerdeführerin eine ganze Rente zuzusprechen.
3. Es seien eventualiter der Entscheid [vom 24. Juli 2012] und die Verfügung der Beschwerdegegnerin vom 18.1.2011 aufzuheben und die Sache an die Beschwerdegegnerin zur Einholung eines zusätzlichen psychiatrischen Gutachtens und neuer Verfügung zurückzuweisen."
Erwägungen:
1. 1.1 Gegenstand des vorinstanzlichen Verfahrens bildete einzig der Rentenanspruch (vgl. BGE 125 V 413 E. 1 S. 414 f.); darauf bezieht sich auch die Begründung der Beschwerde. Auf den Antrag Ziff. 1 ist daher nicht weiter einzugehen.
1.2 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG).
2. 2.1 Bei der Beurteilung der Arbeits(un)fähigkeit stützt sich die Verwaltung und im Beschwerdefall das Gericht auf Unterlagen, die von ärztlichen und gegebenenfalls auch anderen Fachleuten zur Verfügung zu stellen sind. Aufgabe des Arztes oder der Ärztin ist es, den Gesundheitszustand zu beurteilen und dazu Stellung zu nehmen, in welchem Umfang und bezüglich welcher Tätigkeiten die versicherte Person arbeitsunfähig ist. Hinsichtlich des Beweiswertes eines Arztberichtes ist entscheidend, ob dieser für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge sowie der medizinischen Situation einleuchtet und ob die Schlussfolgerungen der Experten begründet sind (BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3a S. 352 mit Hinweis).
Auf einen diesen Anforderungen an sich genügenden ärztlichen Bericht darf jedoch dann nicht abgestellt werden, wenn Umstände vorliegen, die in objektiver Weise und nicht bloss aufgrund des subjektiven Empfindens der Partei geeignet sind, Misstrauen in die Unparteilichkeit und Unvoreingenommenheit des Verfassers zu erwecken (BGE 137 V 210 E. 6.1.2 S. 267; 132 V 93 E. 7.1 S. 109 mit Hinweis; Urteil 9C_1061/2009 vom 11. März 2010 E. 4.1; Urteil 9C_104/2012 vom 12. September 2012 E. 3.1). Was die Berichte behandelnder Ärzte betrifft, so gilt der Grundsatz, dass diese aufgrund der auftragsrechtlichen Vertrauensstellung zum Patienten mit Vorbehalt zu würdigen sind (BGE 125 V 351 E. 3b/cc S. 353). Dies gilt für den allgemein praktizierenden Hausarzt wie den behandelnden Spezialarzt (Urteile 9C_559/2012 vom 27. November 2012 E. 1; I 655/05 vom 20. März 2006 E. 5.4).
2.2 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (BGE 132 V 393 E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (E. 1.2). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG Rechtsfrage (BGE 132 V 393 E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 4 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (Art. 42 Abs. 2 BGG und Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (Art. 106 Abs. 1 BGG).
3. Die Vorinstanz hat dem polydisziplinären Gutachten des Instituts X._ vom 21. Februar 2008 (mit Stellungnahme vom 13. Januar 2009) und dem psychiatrischen Gutachten des Dr. med. K._ vom 4. Juli 2010 (mit Stellungnahme vom 19. Oktober 2010) Beweiskraft beigemessen und gestützt darauf für jede Tätigkeit eine seit Juni 2006 bestehende Arbeitsfähigkeit von mindestens 70 % festgestellt. Auf dieser Grundlage hat sie einen Invaliditätsgrad von (höchstens) 36 % ermittelt und folglich den Anspruch auf eine Invalidenrente verneint.
Die Beschwerdeführerin stellt in Bezug auf die - im Vordergrund stehenden - psychischen Aspekte die Beweiskraft der Gutachten in Abrede.
4. 4.1 Die Stellungnahmen des Instituts X._ vom 13. Januar 2009 und des Dr. med. K._ vom 19. Oktober 2010 stellen eine Erläuterung resp. Ergänzung der jeweiligen Gutachten dar (vgl. ANNETTE DOLGE, in: Basler Kommentar, Schweizerische Zivilprozessordnung, 2010, N. 6 zu Art. 187 ZPO). Solche bilden ebenfalls Teil der Expertise und sind dementsprechend zu berücksichtigen. Indem sich die Experten jeweils zwar nachträglich, jedoch explizit und überzeugend zum Gutachten des Dr. med. S._ vom 12. September 2007 resp. zu den Berichten der behandelnden Psychiaterin Frau Dr. med. H._ vom 5. Juni 2007 und 18. April 2008 äusserten, erfolgte ihre (definitive) Einschätzung des medizinischen Sachverhalts in vollständiger Kenntnis der Vorakten. Dass die Auffassung der behandelnden Ärztin nicht übernommen wurde, lässt nicht darauf schliessen, dass ihre Berichte nur "selektiv einbezogen" worden sein sollen. Auch der Umstand, dass Dr. med. K._ bei Frau Dr. med. H._ einen Verlaufsbericht angefordert haben will, einen solchen aber nicht erhielt und daher nicht mitberücksichtigen konnte, mindert nicht die Aussagekraft seines Gutachtens. Einerseits steht das Einholen fremdanamnestischer Auskünfte im Ermessen des Experten (Urteil 9C_65/2012 vom 28. Februar 2012 E. 4.3 mit Hinweisen); dies gilt auch für den nachträglichen Entscheid, darauf zu verzichten. Anderseits erfolgte eine ausführliche Auseinandersetzung mit den diversen Berichten der Psychiaterin, während Anhaltspunkte für eine Veränderung des Gesundheitszustandes der Versicherten fehlen.
Weiter beruhen die Gutachten auf umfangreichen eigenen Untersuchungen und Befunderhebungen der Experten, die u.a. die Erkenntnisse des Dr. med. S._ und der Frau Dr. med. H._ - insbesondere in Bezug auf Denkstörungen, gestörte Erlebnis- und Verhaltensmuster und daraus sich ergebende Diagnosen - nachvollziehbar diskutierten. Dabei legten sie namentlich einleuchtend dar, weshalb die Diagnosen einer andauernden Persönlichkeitsänderung nach Extrembelastung (ICD-10: F62.0; vgl. die unter www.dimdi.de abrufbaren Kriterien, wonach u.a. eine Belastung katastrophalen Ausmasses erforderlich ist) oder einer Persönlichkeitsstörung nach ICD-10 F60 resp. F61 nicht haltbar sind. Es kann daher nicht von blosser Negation der Probleme oder der abweichenden Auffassungen anderer Ärzte gesprochen werden. Es ist auch nicht ersichtlich, dass Dr. med. K._ ausschliesslich auf den kritisierten MMPI-2-Test abgestellt oder sein Verzicht auf ein "strukturiertes Interview" die Regeln der ärztlichen Kunst verletzt haben soll. Das Gutachten des Dr. med. S._ vom 12. September 2007 (mit Stellungnahme vom 22. März 2008) und die Berichte der Frau Dr. med. H._ vermögen daher die Beweiskraft der Expertisen des Instituts X._ und des Dr. med. K._, die nach verbindlicher vorinstanzlicher Feststellung (E. 1.2) untereinander im Einklang stehen, nicht zu erschüttern (vgl. BGE 125 V 351 E. 3b/bb S. 353).
4.2 Ergänzend ist darauf hinzuweisen, dass eine psychiatrische Exploration von der Natur der Sache her nicht ermessensfrei erfolgen kann. Sie eröffnet dem begutachtenden Psychiater daher praktisch immer einen gewissen Spielraum, innerhalb dessen verschiedene medizinisch-psychiatrische Interpretationen möglich, zulässig und zu respektieren sind, sofern der Experte lege artis vorgegangen ist. Daher und unter Beachtung der Divergenz von medizinischem Behandlungs- und Abklärungsauftrag kann es nicht angehen, eine medizinische Administrativ- oder Gerichtsexpertise stets dann in Frage zu stellen und zum Anlass weiterer Abklärungen zu nehmen, wenn die behandelnden Ärzte nachher zu unterschiedlichen Einschätzungen gelangen oder an solchen vorgängig geäusserten abweichenden Auffassungen festhalten (Urteile 8C_997/2010 vom 10. August 2011 E. 3.2; 8C_694/2008 vom 5. März 2009 E. 5.1). Dass die vorinstanzliche Beweiswürdigung offensichtlich unrichtig sein soll, wird nicht geltend gemacht und ist auch nicht ersichtlich. Nach dem Gesagten ist der Verzicht auf weitere medizinische Abklärungen in zulässiger antizipierender Beweiswürdigung (BGE 136 I 229 E. 5.3 S. 236 mit Hinweisen) erfolgt.
4.3 Die auf die beweiskräftigen Gutachten des Instituts X._ und des Dr. med. K._ gestützte vorinstanzliche Feststellung betreffend die Arbeitsfähigkeit (E. 3) bleibt für das Bundesgericht verbindlich (E. 1.2). Die übrigen Faktoren der Invaliditätsbemessung werden nicht beanstandet; es besteht kein Anlass für eine nähere Prüfung von Amtes wegen (BGE 125 V 413 E. 1b und 2c S. 415 ff.; 110 V 48 E. 4a S. 53). Die Beschwerde ist unbegründet.
5. Dem Ausgang des Verfahrens entsprechend hat die Beschwerdeführerin die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. März 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Dormann