Sachverhalt:
A. Die 1957 geborene, zuletzt im erlernten Beruf einer Pflegehelferin tätige K._ meldete sich im Februar 2000 unter Hinweis auf verschiedene körperliche Beschwerden bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Aargau sprach ihr Berufsberatung zu. Hingegen verneinte sie mit Verfügung vom 27. Juni 2001 einen Rentenanspruch mit der Begründung, der Invaliditätsgrad betrage lediglich 8 %. Im Februar 2006 meldete sich K._ erneut für eine Invalidenrente an. Sie machte geltend, rechtsseitig an Schulterbeschwerden und einer starken Bewegungseinschränkung am Arm zu leiden. Die IV-Stelle gewährte Arbeitsvermittlung. Sie traf sodann erwerbliche und medizinische Abklärungen (u.a. Einholung der Expertise des Dr. med. B._, Spezialarzt FMH für Innere Medizin, speziell Rheumaerkrankungen, vom 14. Juni 2008 mit Untergutachten der Frau med. pract. H._, Fachärztin für Psychiatrie und Psychotherapie FMH, vom 18. Juni 2008). Unter Berücksichtigung dieser und weiterer ihr zugegangener medizinischer Berichte (u.a. des behandelnden Psychiaters Dr. med. P._, Spezialarzt FMH für Psychiatrie und Psychotherapie, vom 17. September 2009, welcher am 19. November 2009 überdies Ergänzungsfragen der Verwaltung beantwortete) sowie eines Berichtes des Regionalen Ärztlichen Dienstes (RAD) vom 27. November 2009 sprach die Verwaltung der Versicherten mit Verfügung vom 4. Mai 2010 rückwirkend ab 1. Januar 2006 bei einem Invaliditätsgrad von 100 % eine bis 31. November 2006 befristete ganze Invalidenrente zu. Der Rentenanspruch liege in einem Schulterleiden bei zweimaliger Operation begründet. Er werde befristet, da aufgrund diesbezüglicher Verbesserung des Gesundheitszustandes wieder eine volle Arbeitsfähigkeit für angepasste Tätigkeiten bestehe und der Invaliditätsgrad nurmehr 16 % betrage. Weiter hielt die Verwaltung fest, seit Juni 2009 habe sich der Gesundheitszustand durch Hinzukommen eines psychischen Leidens verschlechtert. Das könne nach Ablauf des Wartejahres im Juli 2010 zu einem erneuten Rentenanspruch führen, was auf entsprechende Mitteilung der Versicherten zu prüfen sein werde.
B. Beschwerdeweise beantragte K._, es sei über den 1. Dezember 2006 hinaus eine Invalidenrente zuzusprechen. Das Versicherungsgericht des Kantons Aargau lud nebst der IV-Stelle die zuständige Pensionskasse zur Vernehmlassung ein, gewährte K._ die unentgeltliche Rechtspflege und wies die Beschwerde mit Entscheid vom 29. März 2011 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt K._ ihr vorinstanzliches Leistungsbegehren erneuern und um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren ersuchen.
Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Von diesen tatsächlichen Feststellungen kann es nur dann abweichen, wenn sie offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (<ref-law>) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
2. Streitig und zu prüfen ist, ob die Versicherte ab 1. Dezember 2006 weiterhin Anspruch auf eine Rente der Invalidenversicherung hat.
Das kantonale Gericht hat die für die Beurteilung der Streitsache massgeblichen Bestimmungen und Grundsätze zutreffend dargelegt. Das betrifft namentlich den Invaliditätsbegriff (<ref-law> in Verbindung mit <ref-law>), den nach dem Grad der Invalidität abgestuften Anspruch auf eine Invalidenrente (<ref-law> in der bis Ende 2007 in Kraft gestandenen und <ref-law> in der seit Anfang 2008 geltenden Fassung), die Bestimmung des Invaliditätsgrades bei Erwerbstätigen mittels Einkommensvergleich (<ref-law>), die - auch bei Zusprechung einer befristeten Rente anzuwendende - Regelung der revisionsweisen Erhöhung, Herabsetzung oder Aufhebung einer Invalidenrente bei erheblicher Änderung des Invaliditätsgrades und die hiebei zu beachtenden zeitlichen Referenzpunkte (<ref-law>; <ref-ruling> E. 3 S. 132 f.; <ref-ruling>) sowie die Anforderungen an beweiswertige ärztliche Berichte und Gutachten (<ref-ruling> E. 4.4 S. 470; <ref-ruling> E. 5.1 S. 232).
3. Die Vorinstanz ist zum Ergebnis gelangt, die Verwaltung habe die ab Januar 2006 zugesprochene Invalidenrente zu Recht per Ende November 2006 befristet. Aus somato-medizinischer Sicht habe wieder eine 90%ige Arbeitsfähigkeit in angepassten Tätigkeiten bestanden. Erwerblich habe sich dies nicht mehr in rentenbegründender Weise ausgewirkt. Eine psychisch bedingte Einschränkung der Arbeitsfähigkeit habe nicht vorgelegen.
Die Erwägungen zum körperlichen Gesundheitszustand und dessen Auswirkungen auf die Arbeitsfähigkeit sind nicht umstritten und geben keinen Anlass zu Weiterungen. Streitig und zu prüfen ist, ob von einem psychischen Gesundheitsschaden auszugehen ist, welcher einen Rentenanspruch über den 30. November 2006 hinaus zu begründen vermag.
4. 4.1 Das kantonale Gericht hat erwogen, es habe jedenfalls bis zum Beginn der psychiatrischen Behandlung bei Dr. med. P._ im Juli 2009 kein invaliditätsrelevantes psychisches Leiden bestanden.
Die Beschwerdeführerin wendet ein, sie leide seit mehreren Jahren an einer schweren psychischen Beeinträchtigung, welche zu einer Arbeitsunfähigkeit von mindestens 50 % führe. Das ergebe sich namentlich aus den Ausführungen des Dr. med. P._ und rechtfertige zusammen mit den somatischen Befunden die Zusprechung einer Invalidenrente über den 1. Dezember 2006 hinaus.
4.2 Ob und in welchem Zeitpunkt ein die Arbeitsfähigkeit beeinträchtigendes psychisches Leiden vorgelegen hat, ist als Tatfrage vom Bundesgericht nur eingeschränkt überprüfbar (E. 1 hievor). Im Einzelnen ergibt sich Folgendes:
4.2.1 Die Vorinstanz stützt ihre Beurteilung auf das Untergutachten der Frau med. pract. H._ vom 14. Juni 2008. Darin werden aus psychiatrischer Sicht folgende Diagnosen gestellt: Störung durch Cannabinoide, seit 4 Jahren abstinent (ICD-10: F12.20); Störung durch Konsum von Schmerzmitteln (ICD-10: F19.1); Nikotinmissbrauch (ICD-10: F17.1); Probleme in Verbindung mit Berufstätigkeit und Arbeitslosigkeit (ICD-10: Z56). Die Expertin führt sodann aus, die Arbeitsfähigkeit werde durch diese Befunde nicht eingeschränkt.
Dr. med. P._, auf den sich die Versicherte namentlich beruft, geht im Bericht vom 17. September 2009 von einer andauernden Persönlichkeitsveränderung nach Extrembelastung (ICD-10: F62.0) durch Probleme durch negative Kindheitserlebnisse (ICD-10: Z61.2) und Probleme bei sexuellem Missbrauch in der Kindheit (ICD-10: Z61.5) aus. Der seelische Schmerz und die zeitlebens mangelnde emotionale Nähe führten zu einer geschwächten Persönlichkeit, welche von Ängsten und starken Stimmungsschwankungen geplagt sei. Dabei handle es sich um eine rezidivierende depressive Störung, gegenwärtig mittelgradige Episode mit somatischen Symptomen (ICD-10: F32.11). Der seelische Schmerz des Unverstanden- und Ungeliebtseins zeige sich auch in den multiplen Schmerzsyndromen im ganzen Körper. Dies beeinträchtige das seelische Gleichgewicht sehr. Die Arbeitsfähigkeit sei stark herabgemindert. Im Ergänzungsbericht vom 19. November 2009 hielt der Psychiater fest, die Versicherte befinde sich seit 24. Juli 2009 bei ihm in Behandlung. Mit dem Beginn der somatischen Beschwerden vor zwei Jahren hätten auch die damit eng korrelierten psychiatrischen Beschwerden ihren Anfang genommen. Leider sei die Beschwerdeführerin zu lange auf rein somatischer Ebene behandelt worden. Aus rein psychiatrischer Sicht sei die Versicherte im Pflegebereich etwa 50 % arbeitsfähig. Gleiches gelte für alternative, angepasste Tätigkeiten.
4.2.2 Das kantonale Gericht hat die Aussagen des Dr. med. P._ und der Frau med. pract. H._ gegeneinander abgewogen. Es führt dazu namentlich aus, das Untergutachten der Frau med. pract. H._ basiere auf den vorhandenen medizinischen Unterlagen und auch anderen Akten, soweit sich daraus Aussagen über den psychischen Gesundheitszustand herleiten liessen. Die Expertin habe die Versicherte persönlich untersucht und berücksichtige die geklagten Beschwerden. Die Folgerung der Gutachterin, es liege keine Arbeitsunfähigkeit vor, sei aufgrund des Ausgeführten nachvollziehbar. Aus der von Lieblosigkeit, Gewalt und sexuellem Missbrauch geprägten Kindheit und Jugend ergebe sich nicht zwingend eine Arbeitsunfähigkeit. Denn die Beschwerdeführerin sei im Zeitpunkt der Begutachtung sozial integriert gewesen und habe Kontakte zu verschiedenen Personen gepflegt. Sie habe sich selber auch nicht als psychisch krank betrachtet. Konsequenterweise habe sie im August 2007 gegenüber der Pensionskasse nur ihre Schulterbeschwerden erwähnt und sie habe - abgesehen von zwei Abklärungsterminen - in keiner psychiatrischen Behandlung gestanden. Eine solche habe sie erst im Juli 2009 bei Dr. med. P._ aufgenommen. Die Vorinstanz führt weiter aus, indem Dr. med. P._ festhalte, die psychisch bedingte Arbeitsunfähigkeit habe zwei Jahre vor seinem Behandlungsbeginn, d.h. im Juli 2007, ihren Anfang genommen, widerspreche er der psychiatrischen Expertin, ohne sich mit deren Feststellungen auseinanderzusetzen. Soweit ersichtlich, habe er auch keine anderen medizinischen Akten beigezogen. Zudem sei rechtsprechungsgemäss zu berücksichtigen, dass Dr. med. P._ der behandelnde Arzt der Versicherten sei. Zusammenfassend bestünden keine Anhaltspunkte, welche gegen die Zuverlässigkeit der Feststellungen der Frau med. pract. H._ sprächen, und es sei auf deren Gutachten, zumindest bis zum Beginn der psychiatrischen Behandlung bei Dr. med. P._, abzustellen.
4.2.3 Die Versicherte wendet im Wesentlichen ein, eine Persönlichkeitsveränderung, wie sie von Dr. med. P._ diagnostiziert werde, müsse definitionsgemäss schon seit längerer Zeit bestehen. Dies spreche gegen die Verlässlichkeit des Untergutachtens der Frau med. pract. H._, welche keine solche Diagnose gestellt habe. Sodann stützt die Beschwerdeführerin ihre Auffassung auf verschiedene Aussagen im RAD-Bericht vom 27. November 2009 und auf den Umstand, dass die IV-Stelle gemäss Vorbescheid vom 7. März 2011 davon ausgehe, ab 1. Juli 2010 bestehe Anspruch auf eine halbe Invalidenrente.
4.2.4 Auch Frau med. pract. H._ hat die Belastungsfaktoren, welche Dr. med. P._ der Diagnose einer Persönlichkeitsveränderung zugrunde legt, erwähnt. Dass sie sich dadurch, unter Berücksichtigung der von ihr vorgenommenen Untersuchung, nicht zur gleichen Diagnosestellung wie Dr. med. P._ veranlasst sah, lässt ihre Ausführungen nicht als unrichtig erscheinen. Zudem dürfte sich die Bescheinigung einer Arbeitsunfähigkeit durch Dr. med. P._ eher auf die von ihm zusätzlich diagnostizierte depressive Episode beziehen. Diese wiederum bezeichnet der Psychiater als rezidivierend. Sie muss daher nicht bereits im Jahr 2006 oder bei der Begutachtung durch Frau med. pract. H._ bestanden haben. Die weiteren medizinischen Akten enthalten denn auch keine Hinweise auf eine frühere Manifestation eines solchen Leidens im damaligen Zeitpunkt. Es ergibt sich aus den Akten ebenfalls nicht, dass sich eine Persönlichkeitsveränderung vor dem Behandlungsbeginn bei Dr. med. P._ auf die Arbeitsfähigkeit ausgewirkt hätte. Zu beachten ist zudem, dass es generell und namentlich bei psychischen Störungen schwierig ist, rückwirkend und überdies für einen weit zurückliegenden Zeitraum die Arbeitsfähigkeit zuverlässig zu beurteilen (Urteile 8C_418/2010 vom 27. August 2010 E. 5.3.2 und 8C_808/2007 vom 16. Mai 2008 E. 5.4.1 mit Hinweisen). Dies spricht ebenfalls eher für die näher beim massgeblichen Zeitpunkt der Renteneinstellung liegende Beurteilung der psychiatrischen Expertin als für die retrospektive des Dr. med. P._. Hinzu kommt, dass dieser, wie die Vorinstanz richtig erwähnt, als behandelnder Arzt Bericht erstattet hat. Rechtsprechungsgemäss sind nun aber Berichte der behandelnden Ärztinnen und Ärzte aufgrund deren auftragsrechtlichen Vertrauensstellung zur Patientin oder zum Patienten mit Vorbehalt zu würdigen, was für den allgemein praktizierenden Hausarzt wie für den behandelnden Spezialarzt und erst recht für den schmerztherapeutisch tätigen Arzt mit seinem besonderen Vertrauensverhältnis und dem Erfordernis, den geklagten Schmerz zunächst bedingungslos zu akzeptieren, gilt (SVR 2008 IV Nr. 2 S. 3, I 697/05 E. 4.2 mit Hinweis; vgl. auch <ref-ruling> E. 4.5 S. 470 und 125 V 351 E. 3b/cc S. 353).
Die vorinstanzliche Beurteilung, wonach die Aussagen des Dr. med. P._ das Gutachten der Frau med. pract. H._ nicht zu entkräften vermögen, erweist sich aus den dargelegten Gründen jedenfalls nicht als offensichtlich unrichtig oder sonstwie rechtsverletzend.
4.2.5 Nichts anderes ergibt sich aus dem Bericht der RAD-Ärztin Frau Dr. med. S._ vom 27. November 2009 und dem Vorbescheid vom 7. März 2011.
Die RAD-Ärztin hat gestützt auf die Akten Stellung genommen, ohne die Versicherte selber untersucht zu haben. Zudem wird im RAD-Bericht nicht angegeben, ob Frau Dr. med. S._ eine psychiatrische Spezialausbildung ausweist. Gemäss dem Medizinalberuferegister (www.medregom.admin.ch; abgefragt am 7. September 2011) trifft dies nicht zu. Danach sind keine Angaben zu Weiterbildungen der Ärztin vorhanden. Abgesehen davon vermag der RAD-Bericht aber auch inhaltlich nicht, das Untergutachten der Frau med. pract. H._ zu entkräften. Das gilt namentlich für die Aussage der RAD-Ärztin, aufgrund der Ausführungen des Dr. med. P._ sei eine wesentliche Verschlechterung des psychischen Gesundheitszustandes mindestens seit dem Behandlungsbeginn im Juli 2009 glaubhaft. Damit wird entgegen der in der Beschwerde vertretenen Auffassung nicht gesagt, es habe bereits vor Juli 2009 eine psychisch bedingte Beeinträchtigung der Arbeitsfähigkeit bestanden. Den weiteren Aussagen der RAD-Ärztin lässt sich ebenfalls nichts entnehmen, was das Untergutachten der Frau med. pract. H._ in Frage stellen könnte.
Weshalb der Vorbescheid der IV-Stelle vom 7. März 2011 zu einem anderen Ergebnis führen soll, ist nicht nachvollziehbar, wird doch darin von einem Rentenanspruch erst ab Juli 2010 ausgegangen. Damit erübrigen sich auch Weiterungen zu den vorinstanzlichen Erwägungen, wonach eine solche Rentenzusprechung grundsätzlich weiterer medizinischer Abklärungen bedürfte. Überdies kann offenbleiben, ob die Berufung auf den Vorbescheid im vorliegenden Verfahren überhaupt novenrechtlich (<ref-law>) zulässig ist.
4.2.6 Wenn die Vorinstanz gestützt auf das Untergutachten der Frau med. pract. H._ ein invaliditätsrelevantes psychisches Leiden vor Juli 2009 verneint hat, ist dies somit im Rahmen der bundesgerichtlichen Überprüfungsbefugnis nicht zu beanstanden.
5. 5.1 Das kantonale Gericht hat nach Massgabe des physisch-medizinisch definierten Zumutbarkeitsprofils (E. 3 hievor) einen Einkommensvergleich vorgenommen. Es setzte das ohne Gesundheitsschädigung mutmasslich erzielte Einkommen (Valideneinkommen) gestützt auf die Angaben der Arbeitgeberin auf Fr. 53'560.- und das trotz Gesundheitsschädigung zumutbarerweise noch erzielbare Einkommen (Invalideneinkommen) unter Verwendung von Tabellenlöhnen sowie unter Berücksichtigung eines leidensbedingten Abzugs von 5 % auf Fr. 45'249.92 fest. Dies führt zu einem Invaliditätsgrad von gerundet 20 %. Der für eine Invalidenrente mindestens erforderliche Invaliditätsgrad von 40 % (<ref-law> in der bis Ende 2007 in Kraft gestandenen Fassung; vgl. auch den die gleiche Rentenabstufung enthaltenden <ref-law> in der seit Anfang 2008 geltenden Fassung) wird damit nicht erreicht.
5.2 Die Beschwerdeführerin beanstandet nur den leidensbedingten Abzug. Dieser sei auf 20 % anzusetzen. Zur Begründung wird ausgeführt, der Abzug sei aufgrund der zusätzlich zur physischen Beeinträchtigung bestehenden psychischen Beschwerden massiv zu erhöhen. Zudem sei die fehlende berufliche Ausbildung zu berücksichtigen.
Psychische Beschwerden, welche die Arbeitsfähigkeit beeinträchtigen, lagen nach dem zuvor Gesagten im massgeblichen Zeitraum nicht vor und vermöchten schon deshalb nicht einen höheren Abzug zu begründen. Sodann ist eine mangelnde berufliche Ausbildung nicht beim leidensbedingten Abzug, sondern bei der Bestimmung des Anforderungsniveaus des herangezogenen Tabellenlohnes zu berücksichtigen. Dem wurde hier Rechnung getragen, indem die Tabellenlöhne auf dem niedrigsten Anforderungsniveau 4 (einfache und repetitive Tätigkeiten), welches keine Berufsausbildung erfordert, verwendet wurden. Abgesehen davon ergäbe sich mit dem postulierten Abzug von 20 % ohnehin nur dann ein rentenbegründender Invaliditätsgrad, wenn von einer - erheblichen - psychisch bedingten Einschränkung des Leistungsvermögens ausgegangen würde. Das ist wie erwähnt nicht gerechtfertigt. Die Beschwerde ist somit auch diesbezüglich unbegründet, was zu ihrer Abweisung führt.
6. Die Gerichtskosten werden der unterliegenden Beschwerdeführerin auferlegt (<ref-law>). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Rechtsanwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Der Beschwerdeführerin wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Dr. Volker Pribnow wird als unentgeltlicher Anwalt der Beschwerdeführerin bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, der Ausgleichskasse des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. September 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Lanz