Sachverhalt:
A. F._, geboren 1960, meldete sich im Dezember 2005 wegen psychischen Problemen bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Zug veranlasste u.a. eine Abklärung am Institut X._, Dr. med. Y._ erstattete das Gutachten am 25. August 2008. Er stellte die Diagnose einer rezidivierenden depressiven Störung, aktuell Residualsymptomatik (ICD-10 F 33.8), erachtete die bisherige Tätigkeit als Hausfrau sowie als Fachärztin Psychiatrie weiterhin als zumutbar und setzte die Einschränkung in der Arbeitsfähigkeit bei einer Präsenzzeit von 8,5 Stunden pro Tag, über die Jahresarbeitszeit geschätzt, auf 30 % fest. In der Folge verneinte die IV-Stelle Zug mit Verfügung vom 19. August 2009 einen Rentenanspruch.
B. Das Verwaltungsgericht des Kantons Zug wies die dagegen erhobene Beschwerde mit Entscheid vom 27. Oktober 2011 ab. Im Prozessverlauf hatte F._ ein Privatgutachten des Dr. med. I._, Facharzt FMH für Psychiatrie und Psychotherapie, vom 23. November 2009 aufgelegt. Darauf holte das Verwaltungsgericht bei PD Dr. med. M._ von den Universitären Psychiatrischen Kliniken Z._ das Obergutachten vom 15. August 2011 ein. Die diesbezüglichen Kosten von Fr. 6'774.- verlegte es vollumfänglich zu Lasten von F._ (Dispositiv Ziff. 3).
C. F._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, der Entscheid vom 27. Oktober 2011 sei aufzuheben und es sei ihr eine angemessene Rente der Invalidenversicherung ab 1. Januar 2006 zuzusprechen. Eventualiter sei die Sache zur weiteren Abklärung an die IV-Stelle Zug zurückzuweisen. Subeventualiter sei Ziff. 3 des Dispositivs aufzuheben und die Kosten des Gerichtsgutachtens in der Höhe von Fr. 6'774.- der IV-Stelle Zug aufzuerlegen.
Die IV-Stelle und das Verwaltungsgericht schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), prüft indessen - unter Beachtung der Begründungspflicht in Beschwerdeverfahren (Art. 42 Abs. 1 und 2 BGG) - grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 133 II 249 E. 1.4.1 S. 254). Wird eine Verletzung von Grundrechten geltend gemacht, muss im Einzelnen dargelegt werden, inwiefern der Entscheid an einem qualifizierten Mangel leidet (Art. 106 Abs. 2 BGG).
2. Die Beschwerdeführerin bemängelt vorab das Gerichtsgutachten des PD Dr. med. M._ vom 15. August 2011. Dieser diagnostizierte - mit Einfluss auf die Arbeitsfähigkeit - eine Dysthymia (ICD-10 F34.1), einen Verdacht auf eine rezidivierende depressive Störung, aktuell remittiert, sowie akzentuierte Persönlichkeitszüge mit selbstunsicheren, depressiven, abhängigen, vermeidenden und anderen psychoneurotischen Anteilen (ICD-10 Z73.1). In Bezug auf Letzteres konnte die Differenzialdiagnose einer komplexen Persönlichkeitsstörung nicht gestellt werden. Die Arbeitsfähigkeit in der angestammten Tätigkeit als frei praktizierende Psychiaterin schätzte Dr. M._ auf ca. 70-80 %. In einer angepassten Tätigkeit in einem nicht konflikthaften Umfeld ohne erhebliche Stressexposition bezeichnete er die Beschwerdeführerin als voll arbeitsfähig. Die fachärztliche Begutachtung basiert u.a. auf einer umfangreichen Aktenlage und der Experte setzte sich insbesondere mit dem Gutachten des Dr. med. S._, Facharzt FMH für Psychiatrie und Psychotherapie, vom 20. April 2006 samt Ergänzung vom 30. Oktober 2006, dem Gutachten des Instituts X._ vom 25. August 2008 und dem Privatgutachten vom 23. November 2009 eingehend auseinander.
Die Vorinstanz hat einlässlich begründet, weshalb das Obergutachten von PD Dr. med. M._ überzeugt. Insoweit die Beschwerdeführerin wiederholt geltend macht, verschiedene, auf ihre Persönlichkeitsdefizite zurückzuführende Umstände seien bei der Bestimmung der Arbeitsunfähigkeit unberücksichtigt geblieben, lässt sie ausser Acht, dass die diagnostizierte Persönlichkeitsstörung in sogenannter Z-Kodierung rechtsprechungsgemäss keine invaliditätsrechtlich erhebliche Gesundheitsbeeinträchtigung darstellt (vgl. Urteil 9C_537/2011 vom 28. Juni 2012 E. 3.1; SVR 2012 IV Nr. 22 S. 95, 8C_302/2011 E. 2.3; SVR 2008 IV Nr. 15 S. 43, I 514/06 E. 2.2.2.2). Es erübrigt sich daher, darüber zu diskutieren, welche damit zusammenhängenden Faktoren Eingang in die gutachterliche Schätzung der Arbeitsfähigkeit fanden und welche nicht. Soweit solche miteinbezogen wurden, erfolgte dies zu Gunsten der Beschwerdeführerin; indes kann sie daraus kein Recht auf umfassende Beachtung ableiten. Somit steht fest, dass die Beschwerdeführerin in diesem Zusammenhang, soweit überhaupt rechtsgenüglich dargelegt (vgl. E. 1.2), auch keine Verletzung von Art. 8 Abs. 1 und 3 sowie Art. 10 Abs. 2 BV bzw. Art. 8 EMRK zu begründen vermag.
Insofern PD Dr. med. M._ festhielt, die Beurteilung der Arbeitsfähigkeit stelle sich schwierig dar, da faktisch aktuell bereits insgesamt unter Einschluss der Haushaltsaufgaben ein Pensum von über 100 % absolviert werde, so scheint ihm nicht präsent gewesen zu sein, dass der invalidenrechtlich massgebende Status - d.h. ob ausschliesslich erwerbstätig oder ausschliesslich im Haushalt tätig oder aber "gemischt" tätig - stets bei 100 % liegt. Seine Einschätzung der Arbeitsfähigkeit basierte jedoch klar mit Blick auf ein Vollpensum im Erwerbsleben, was sich aus der - unmittelbar davorstehenden - Feststellung erschliesst, dass die Beschwerdeführerin bei einer Reduktion des psychosozialen Gesamtdruckes trotz persönlichkeitsbedingter Schwierigkeiten wieder "in einem vollen Pensum schaffen könnte" resp. wieder ",normal funktionieren' würde".
Indem sich die Vorinstanz auf das Obergutachten abgestützt und eine Restarbeitsfähigkeit von mindestens 70 % angenommen hat, was unbestritten keine rentenwirksame Einschränkung darstellt, kann ihre Beurteilung weder als willkürlich noch sonstwie als bundesrechtswidrig bezeichnet werden. Die Beschwerde ist in diesem Punkt abzuweisen.
3. Was die Verlegung der Kosten für das Obergutachten in der Höhe von Fr. 6'774.- betrifft, so hat das Bundesgericht unlängst in einem Grundsatzurteil entschieden, dass Art. 69 Abs. 1bis IVG, der bei Streitigkeiten um die Bewilligung oder Verweigerung von IV-Leistungen vor dem kantonalen Versicherungsgericht einen Kostenrahmen von Fr. 200.- bis Fr. 1000.- vorsieht, abschliessenden Charakter aufweist, selbst wenn der Verfahrensaufwand nur minimal gewesen ist (BGE 138 V 122 E. 1 S. 123 f.). Diese Verbindlichkeit gilt grundsätzlich auch nach oben, wobei im vorliegenden Fall - wie im zitierten Urteil - nicht zu prüfen ist, ob der Kostenrahmen bei mutwilliger oder leichtsinniger Prozessführung überschritten werden darf. Im Übrigen ist der Wortlaut dahin gehend klar, dass es sich um die "Kosten" und nicht einzig um die Spruchgebühr handelt, wie die vorinstanzlichen Erwägungen implizieren. Dies wird durch die Lehre bestätigt (UELI KIESER, ATSG-Kommentar, 2. Aufl. 2009, N. 35 zu Art. 61 ATSG; gl.M. wohl auch JEAN-LOUIS DUC, Procédure dans l'assurance-invalidité, in: SZS 2005 S. 306 unten: "Limiter les frais de justice, mais pas ceux qui sont occasionnés par une expertise, ne serait pas logique.") und den Gesetzesmaterialien lassen sich keine Anhaltspunkte entnehmen, die dem unmissverständlichen Wortlaut von Art. 69 Abs. 1bis Satz 2 IVG entgegen stehen (Botschaft vom 4. Mai 2005 betreffend die Änderung des Bundesgesetzes über die Invalidenversicherung [Massnahmen zur Verfahrensstraffung], BBl 2005 3079).
4. Wenn auch mit dem Obergutachten von PD Dr. med. M._ die Einschätzungen der Experten des Instituts X._ bestätigt werden konnten, kann es nicht im nachhinein als überflüssig für die Beurteilung des Anspruchs der Beschwerdeführerin abgetan werden. Das kantonale Versicherungsgericht ist in der Beweiswürdigung frei (Art. 61 lit. c ATSG). Es hat das Obergutachten angeordnet, weil mit dem Gutachten des Instituts X._ und der von der Beschwerdeführerin eingereichten Privatexpertise zwei bereits im Grundsatz (Methodik) gegensätzliche psychiatrische Fachmeinungen vorlagen. Damit hat es, obwohl grundsätzlich vom Gutachten des Instituts X._ überzeugt, doch letzte Zweifel ausräumen wollen. Mit anderen Worten hat die Vorinstanz die Abklärungsergebnisse aus dem Verwaltungsverfahren offenbar als nicht ausreichend beweiswertig erachtet. Auch die IV-Stelle hält fest, dass das Einholen eines Obergutachtens deshalb notwendig geworden sei, weil die Versicherte durch die Einreichung eines eigenen Gutachtens Zweifel am Gutachten des Instituts X._ gestreut habe. Bei dieser Sachlage (vgl. BGE 137 V 210 E. 4.4.1.5 in initio S. 265) besteht von vornherein keine Rechtfertigung, den gesetzlich vorgegebenen Kostenrahmen zu überschreiten. Die Verlegung der Kosten in der (ganzen) Höhe von Fr. 6'774.- zu Lasten der Versicherten stellt demnach eine Verletzung von Bundesrecht (Art. 95 lit. a BGG) dar, was zur Aufhebung des angefochtenen Entscheids im fraglichen Punkt führt. Nachdem die Vorinstanz den Kostenrahmen von Art. 69 Abs. 1bis IVG nicht ausgeschöpft und die Beschwerdeführerin den Rechtsstreit vor Verwaltungsgericht verloren hat, erweist sich die Überbindung der gesamten Kosten der Gerichtsexpertise auf die IV-Stelle (BGE 137 V 210 E. 4.4.2 S. 265 f.) hier nur als eine von möglichen Varianten. Die Sache geht daher an die Vorinstanz zwecks Neuverlegung des streitigen Gutachteraufwands zurück.
5. Das Verfahren ist kostenpflichtig (Art. 65 BGG). Entsprechend seinem Ausgang werden die Gerichtskosten den Parteien je hälftig auferlegt (Art. 65 Abs. 4 lit. a in Verbindung mit Art. 66 Abs. 1 BGG). Die IV-Stelle hat der Versicherten für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG); sie selber ist gemäss Art. 68 Abs. 3 BGG nicht anspruchsberechtigt.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Dispositiv-Ziffer 3 des Entscheids des Verwaltungsgerichts des Kantons Zug vom 27. Oktober 2011 wird aufgehoben. Die Sache wird an die Vorinstanz zurückgewiesen, damit sie die Kosten des Obergutachtens neu verlege. Im Übrigen wird die Beschwerde abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 500.- werden den Parteien je hälftig auferlegt.
3. Die Beschwerdegegnerin hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 1'000.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. August 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Dormann