Sachverhalt:
A. Die 1949 geborene B._ war seit 1. September 1997 Buffetangestellte im Gasthof X._. Am 20. Februar 2005 verletzte sie sich am rechten Handgelenk. Am 6. Februar 2007 meldete sie sich bei der Invalidenversicherung an. Diese holte diverse Arztberichte ein und beteiligte sich mit eigenen Fragen an dem vom Unfallversicherer beim Institut Y._ eingeholten interdisziplinären Gutachten vom 15. Januar 2009. Das Institut Y._ stellte folgende chirurgisch-traumatologische Diagnosen: SNAC (scaphoid non union advanced collaps)-Wrist Stadium I rechts; Status nach: vorbestehender Scaphoidpseudarthrose, diagnostischer Arthroskopie und radiocarpalem Shaving rechts vom 1. Juni 2005, four-corner-Arthro dese rechts vom 21. September 2005, OSM Entfernung am 20. Dezember 2005, Resektion des distalen Scaphoidpols und Faszieninterpositionsarthroplastik rechts am 23. Mai 2007; leichte radio-carpale Arthrose beidseits. Psychischerseits diagnostizierte es im Wesentlichen Folgendes: Unfall mit Handverletzung am 20. Februar 2005 mit chronifizierten, auf Arm, Schulter und Thorax ausgeweiteten Dauerschmerzen (ICD-10: R52.1); mit depressiver Entwicklung ab Februar 2006, aktuell leicht- bis mittelgradig (ICD-10: F32.0); mit ängstlich-vegetativer Schwindel-Symptomatik (DD: zusätzlich somatische Schwindelursachen). Mit Verfügungen vom 6. November 2010 sprach die IV-Stelle der Versicherten ab 1. Februar 2006 bis 31. Oktober 2007 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente zu; ab 1. November 2007 stellte sie die Invalidenrente ein, da der Invaliditätsgrad ab 1. August 2007 36 % betrage.
B. In Gutheissung der hiegegen erhobenen Beschwerde hob das Verwaltungsgericht des Kantons Luzern die Verfügung auf und sprach der Versicherten ab 1. Februar 2006 bis 31. März 2008 eine ganze Invalidenrente und ab 1. April 2008 eine Viertelsrente zu (Entscheid vom 16. Juni 2011).
C. Mit Beschwerde beantragt die IV-Stelle, es sei festzustellen, dass die Versicherte mit Ausnahme einer befristeten ganzen Rente vom 1. Februar 2006 bis 31. März 2008 keinen Rentenanspruch habe; der Beschwerde sei die aufschiebende Wirkung zu erteilen.
Die Vorinstanz und die Versicherte schliessen auf Abweisung der Beschwerde. Letztere verlangt die Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren. Das Bundesamt für Sozialversicherungen (BSV) beantragt Beschwerdegutheissung.
D. Mit Verfügung vom 10. Oktober 2011 erteilte das Bundesgericht der Beschwerde aufschiebende Wirkung.
Erwägungen:
1. Die Beschwerde kann wegen Rechtsverletzung nach Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Immerhin prüft es grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (Art. 42 Abs. 1 und 2 BGG; BGE 133 II 249 E. 1.4.1 S. 254). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG) und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 BGG).
Die auf Grund medizinischer Untersuchungen gerichtlich festgestellte Arbeitsfähigkeit betrifft eine Tatfrage (BGE 132 V 393 E. 3.2 S. 397 ff.). Rechtsfragen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert von Arztberichten (BGE 134 V 231 E. 5.1 S. 232). Die konkrete Beweiswürdigung ist Tatfrage (nicht publ. E. 4.1 des Urteils BGE 135 V 254, in SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]; Urteil 8C_594/2011 vom 20. Oktober 2011 E. 1).
2. Der hier in Frage stehende Sachverhalt hat sich teilweise vor dem Inkrafttreten der 5. IV-Revision am 1. Januar 2008 verwirklicht. Die Vorinstanz hat richtig erkannt, dass bis 31. Dezember 2007 auf die damals geltenden Bestimmungen und ab 1. Januar 2008 auf die neuen Normen der 5. IV-Revision abzustellen ist (BGE 130 V 445). Dies ist jedoch ohne Belang, weil diese Revision bezüglich der Invaliditätsbemessung keine substanziellen Änderungen gebracht hat, sodass die zur altrechtlichen Regelung ergangene Rechtsprechung weiter gilt (Urteil 8C_594/2011 E. 2). Zudem hat die Vorinstanz die Grundlagen über die Invalidität (Art. 8 Abs. 1 ATSG; Art. 4 IVG), den Rentenanspruch (Art. 28 IVG; Art. 29 Abs 1 IVG in der bis Ende 2007 gültig gewesenen Fassung), die Rentenrevision (Art. 17 Abs. 1 ATSG; BGE 9C_226/2011 vom 15. Juli 2011 E. 4.3.1; BGE 134 V 131 E. 3. S. 132), die Ermittlung des ohne Invalidität erzielbaren Einkommens (Valideneinkommen) und des trotz Gesundheitsschadens zumutbarerweise noch realisierbaren Einkommens (Invalideneinkommen) beim Einkommensvergleich (Art. 16 ATSG; Art. 28a Abs. 1 IVG; BGE 134 V 322 E. 4.1 und 5 S. 325 und 327) sowie den Beweiswert von Arztberichten (E. 1 hievor) richtig dargelegt. Darauf wird verwiesen.
3. Streitig und zu prüfen ist, ob die Versicherte auch nach dem 31. März 2008 Anspruch auf eine Invalidenrente hat.
3.1 Die Vorinstanz hat in Würdigung des interdisziplinären Gutachtens des Instituts Y._ vom 21. Januar 2009 und der übrigen medizinischen Akten mit einlässlicher Begründung zutreffend erkannt, dass die Versicherte ab 20. Februar 2005 - mit Ausnahme von rund drei Monaten im Jahre 2005 - bis 31. Dezember 2007 in allen Tätigkeiten zu 100 % arbeitsunfähig gewesen sei. Ab Januar 2008 sei von einer 60%igen Arbeitsfähigkeit in einer angepassten Tätigkeit unter Berücksichtigung der ergonomischen Vorgaben auszugehen. Aus psychischen Gründen sei die Versicherte nur mehr zu 60 % arbeitsfähig. Daneben sei sie aber auch körperlich eingeschränkt: es seien ihr ganztags nur noch sitzende, sehr leichte Tätigkeiten mit auf einem Tisch aufgestützten Ellbogen zumutbar, welche den linken Arm leicht und den rechten nur minimal belasteten. Unzumutbar seien Arbeiten, die das Handgelenk kontinuierlich forderten, wie repetitive Flexion/Extension. Auf die vorinstanzlichen Erwägungen wird verwiesen.
3.2 Die IV-Stelle macht letztinstanzlich erstmals geltend, die psychischen Beschwerden seien nicht invalidisierend. Im kantonalen Verfahren hat sie dies noch ausdrücklich anerkannt. Es ist indessen nicht einzusehen, weshalb sie entsprechende rechtserhebliche Einwände nicht bereits vorinstanzlich vorgebracht hat. Es kann auch nicht gesagt werden, erst der vorinstanzliche Entscheid habe ihr dazu Anlass gegeben, diese Frage neu aufzuwerfen. In diesem Punkt ist demnach das Verhalten der IV-Stelle widersprüchlich und beruht auf unzulässigen neuen Tatsachenvorbringen (Art. 99 Abs. 1 BGG; BGE 135 V 194; nicht publ. E. 2.3 des Urteils BGE 135 V 163, in SVR 2009 BVG Nr. 30 S. 109 [9C_920/2008]; Urteil 8C_18/2007 vom 1. Februar 2008 E. 3.3 mit weiteren Hinweisen). Das vorinstanzliche Ergebnis, wonach die Versicherte psychisch bedingt zu 60% arbeitsfähig ist, kann somit - entgegen der Auffassung von IV-Stelle und BSV - nicht in Frage gestellt werden. Im Übrigen erheben sie keine Rügen, welche die Feststellungen der Vorinstanz zur Arbeitsfähigkeit als offensichtlich unrichtig oder als Ergebnis willkürlicher Beweiswürdigung oder als rechtsfehlerhaft nach Art. 95 BGG erscheinen lassen.
4. Umstritten ist weiter die Höhe des Abzugs vom Invalideneinkommen.
4.1 Wird das Invalideneinkommen - wie hier - auf der Grundlage der Schweizerischen Lohnstrukturerhebung (LSE) des Bundesamtes für Statistik ermittelt, ist der entsprechende Ausgangswert allenfalls zu kürzen. Ohne für jedes zur Anwendung gelangende Merkmal separat quantifizierte Abzüge vorzunehmen, ist der Einfluss aller Merkmale auf das Invalideneinkommen (leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad) unter Würdigung der Umstände im Einzelfall nach pflichtgemässem Ermessen gesamthaft zu schätzen. Der Abzug darf 25 % nicht übersteigen (BGE 134 V 322 E. 5.2 S. 327 f.; Urteil 8C_831/2010 vom 31. März 2011 E. 8.1).
4.2 Die Frage, ob eine Herabsetzung des statistischen Lohnes wegen besonderer Umstände (aufgrund der Behinderung der versicherten Person oder aus anderen Gründen) angezeigt ist, ist eine vom Bundesgericht frei überprüfbare Rechtsfrage. Demgegenüber ist die Frage nach der Höhe des (im konkreten Fall grundsätzlich angezeigten) Leidensabzuges eine typische Ermessensfrage, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (BGE 137 V 71 E. 5.1 S. 72).
Ermessensmissbrauch ist gegeben, wenn die Behörde zwar im Rahmen des ihr eingeräumten Ermessens bleibt, sich aber von unsachlichen, dem Zweck der massgebenden Vorschriften fremden Erwägungen leiten lässt oder allgemeine Rechtsprinzipien, wie das Verbot von Willkür und von rechtsungleicher Behandlung, das Gebot von Treu und Glauben sowie den Grundsatz der Verhältnismässigkeit verletzt. Ermessensüberschreitung liegt vor, wenn die Behörde Ermessen walten lässt, wo ihr das Gesetz keines einräumt, oder wo sie statt zweier zulässiger Lösungen eine dritte wählt. In diesem Zusammenhang ist auch die Ermessensunterschreitung bedeutsam, die darin besteht, dass die entscheidende Behörde sich als gebunden betrachtet, obschon sie nach Gesetz berechtigt wäre, nach Ermessen zu handeln, oder dass sie auf Ermessensausübung ganz oder teilweise zum vorneherein verzichtet (BGE 137 V 71 E. 5.1 S. 73).
4.3 Im Gegensatz zur Kognition des Bundesgerichts ist - was die Beschwerdeführerin zu verkennen scheint - diejenige der Vorinstanz in diesem Zusammenhang nicht auf Rechtsverletzung (einschliesslich Ermessensüberschreitung, -missbrauch oder -unterschreitung) beschränkt, sondern erstreckt sich auch auf die Beurteilung der Angemessenheit der Verwaltungsverfügung. Hinsichtlich der Angemessenheit der streitigen Verfügung geht es um die Frage, ob der zu überprüfende Entscheid, den die Behörde nach dem ihr zustehenden Ermessen im Einklang mit den allgemeinen Rechtsprinzipien in einem konkreten Fall getroffen hat, nicht zweckmässigerweise anders hätte ausfallen sollen. Allerdings darf das kantonale Gericht sein Ermessen nicht ohne triftigen Grund an die Stelle desjenigen der Verwaltung setzen; es muss sich somit auf Gegebenheiten abstützen können, die seine abweichende Ermessensausübung als naheliegender erscheinen lassen (BGE 137 V 71 E. 5.2 S. 73). Aus dem Gesagten folgt, dass das kantonale Gericht bei der Überprüfung der Ermessensausübung durch die Verwaltung betreffend die Festlegung des Abzugs vom Invalideneinkommen seine Aufmerksamkeit auf die verschiedenen Lösungen zu richten hat, die sich der Verwaltung anboten. Es hat sich ein Urteil darüber zu bilden, ob ein höherer oder tieferer Abzug (aber begrenzt auf 25 %) angemessener erscheine und sich aus einem triftigen Grund aufdränge, ohne jedoch sein eigenes Ermessen an die Stelle desjenigen der Verwaltung zu setzen (BGE 137 V 71 E. 5.2 S. 74 unten).
5. 5.1 Die IV-Stelle gewährte der Versicherten wegen den ergonomischen Einschränkungen einen Abzug von 10 %. Die Vorinstanz erwog, diese sei aus psychischen Gründen nur mehr zu 60 % arbeitsfähig. Daneben sei sie auch körperlich eingeschränkt (vgl. E. 3.1 hievor). Sie leide unter ausgeprägten somatischen Einschränkungen im Bereich der Hände (insbesondere Handgelenk rechts), deren Einsatz für viele Hilfsarbeiten von Bedeutung sei, was mehr als einen mittleren Leidensabzug rechtfertige. Der von der IV-Stelle vorgenommene Abzug von 10 % werde dem vorliegenden Fall nicht gerecht. Durch die somatische Beeinträchtigung sei die Versicherte gegenüber einer Arbeitskollegin in ihrem Tätigkeitsfeld wesentlich eingeschränkt und werde lohnmässig erheblich benachteiligt sein, was angemessen zu berücksichtigen sei. Die übrigen Kriterien seien dagegen nicht lohnmindernd; denn die Versicherte verfüge über die Niederlassungsbewilligung C. Auch dass sie im massgeben Zeitpunkt der allfälligen Rentenherabsetzung 59 Jahre alt sei, spiele keine Rolle; das Alter falle kaum ins Gewicht, da Hilfsarbeiterinnen auf dem massgebenden hypothetischen ausgeglichen Arbeitsmarkt grundsätzlich altersunabhängig nachgefragt würden. In Würdigung der gesamten persönlichen und beruflichen Umstände sei ein leidensbedingter Abzug von 20 % angemessen.
5.2 Letztinstanzlich bringt die IV-Stelle im Wesentlichen vor, mit dem Leidensabzug von 10 % sei den ergonomischen leidensbedingten Einschränkungen (leichte Tätigkeiten, eher mit aufgestütztem Ellbogen rechts, keine repetitiven Beugungen und Steckungen im rechten Handgelenk) umfassend Rechnung getragen worden. Somatischerseits sei die Versicherte zu 100 % arbeitsfähig. Aus psychiatrischer Sicht sei ebenfalls eine ganztägige Tätigkeit zumutbar, die allerdings - folge man der bestrittenen invalidisierenden Wirkung des Gesundheitsschadens - zu 40 % eingeschränkt sei, womit sämtliche Nachteile berücksichtigt worden seien. Nicht berücksichtigt habe die Vorinstanz, dass sich die Handgelenks-Beweglichkeit seit dem Gutachten des Instituts Y._ vom 15. Januar 2009 verbessert habe (vgl. Bericht des Dr. med. S._, Hand- und Microchirurgie, rekonstruktive Chirurgie, vom 15. Mai 2009 und Stellungnahme des Regionalen Ärztlichen Dienstes [RAD] vom 11. September 2009). Gemäss Dr. med. S._ seien alltägliche Verrichtungen ohne Belastungen gut möglich. Gemäss dem Gutachten des Instituts Y._ könne sie selber staubsaugen; sie könne eine Einwilligung mühelos unterschreiben und die Feinmotorik sei nicht gestört. Die Vorinstanz habe Bundesrecht verletzt, indem sie den Leidensabzug ohne Not von 10 % auf 20 % erhöht und damit eine Ermessensüberschreitung begangen habe; mit der nicht nachvollziehbaren Erhöhung des Leidensabzugs habe sie auch ihre Begründungspflicht verletzt. Das BSV macht geltend, die Vorinstanz habe den leidensbedingten Abzug vom Tabellenlohn erhöht, ohne dafür zusätzliche, nicht schon von der IV-Stelle berücksichtigte Gründe anzugeben. Damit habe sie einerseits ihr Ermessen überschritten, indem sie ohne Not ihre Würdigung an Stelle jener der IV-Stelle gesetzt habe, und anderseits die Begründungspflicht verletzt.
5.3 Entgegen der Auffassung von IV-Stelle und BSV hat die Vorinstanz ausreichend und überzeugend begründet (zur Begründungspflicht vgl. BGE 134 I 83 E. 4.1 S. 88), weshalb ein leidensbedingter Abzug von 20 % gerechtfertigt ist. Es kann nicht gesagt werden, sie habe ihr Ermessen ohne triftigen Grund an die Stelle desjenigen der Verwaltung gesetzt und damit gegen die Rechtsgrundsätze der Ermessenskontrolle verstossen (E. 4.3 hievor). Die Vorinstanz berücksichtigte, dass der Versicherten gemäss dem Gutachten des Instituts Y._ vom 15. Januar 2009 aus somatischer Sicht nur noch eine "sitzende, sehr leichte Arbeit" zumutbar ist. Damit liegt in Verbindung mit der psychisch bedingten, 40%igen Arbeitsunfähigkeit eine doch ausgeprägte Einschränkung vor. Unter diesen Umständen erscheint die vorinstanzliche abweichende Ermessensausübung bezüglich der Höhe des Tabellenlohnabzugs naheliegender. Unbehelflich ist die Berufung der IV-Stelle auf das Urteil 8C_25/2011 vom 17. März 2011 E. 3.3.3, worin die Nichtgewährung eines Abzugs vom Tabellenlohn bestätigt wurde; denn dieses betraf einen Sachverhalt, der mit dem vorliegenden nicht hinreichend vergleichbar ist.
Die Argumentation von IV-Stelle und BSV vermag auch nicht aufzuzeigen, dass die Vorinstanz ihr Ermessen überschritten, unterschritten oder missbraucht hätte.
Aus dem Bericht des Dr. med. S._ vom 15. Mai 2009 kann die IV-Stelle nichts zu ihren Gunsten ableiten, da er keine Stellungnahme zur Arbeitsfähigkeit der Versicherten enthält und daraus eine diesbezügliche Verbesserung seit dem Gutachten des Instituts Y._ nicht abgeleitet werden kann. Gleiches gilt betreffend den RAD-Bericht vom 11. September 2009, da der RAD-Arzt die Versicherte nicht selber untersucht hat. Nicht stichhaltig ist im Lichte der im Gutachten des Instituts Y._ festgestellten Arbeitsfähigkeit auch das Vorbringen der IV-Stelle, die Versicherte könne selber staubsaugen sowie unterschreiben und sei in der Feinmotorik nicht gestört.
6. Im Übrigen ist der vorinstanzliche Einkommensvergleich, der zu einem Invaliditätsgrad von 44 % und damit ab 1. April 2008 zum Anspruch auf eine Viertelsrente führt, unbestritten, weshalb es damit sein Bewenden hat (Urteil 8C_953/2010 vom 29. April 2011 E. 6).
7. Die unterliegende IV-Stelle trägt die Verfahrenskosten (Art. 66 Abs. 1, Art. 68 Abs. 2 BGG; Urteil 8C_67/2007 vom 25. September 2007 E. 6, in SZZP 2008 S. 6). Damit wird das Gesuch der Versicherten um Gewährung der unentgeltlichen Rechtspflege gegenstandslos.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'000.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. November 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Jancar