Sachverhalt:
A. Die 1959 geborene I._ war ab 1989 als Betriebsangestellte vollzeitlich in der Firma V._ AG tätig. Im März und erneut im August 2004 meldete sie sich unter Hinweis auf verschiedene gesundheitliche Beschwerden bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Schwyz gewährte am 6. Dezember 2004 Arbeitsvermittlung. Hingegen verneinte sie mit Verfügung vom 24. Februar 2005 gestützt auf medizinische und erwerbliche Abklärungen einen Rentenanspruch mangels eines anspruchsbegründenden Invaliditätsgrades. Auf die hiegegen erhobene Einsprache hin veranlasste die IV-Stelle ein psychiatrisches Gutachten des Instituts X._, welches am 14. März 2007 erstattet wurde. Mit Einspracheentscheid vom 3. Oktober 2007 hielt die Verwaltung an der Verfügung vom 24. Februar 2005 fest; sie lehnte überdies die Gewährung der unentgeltlichen Verbeiständung für das Einspracheverfahren ab.
B. I._ reichte Beschwerde ein. Das Verwaltungsgericht des Kantons Schwyz hiess diese insoweit gut, als es den Anspruch auf unentgeltliche Verbeiständung für das Einspracheverfahren bejahte. Im Übrigen, soweit auf Zusprechung einer Invalidenrente, eventuell Rückweisung an die Verwaltung lautend, wies es die Beschwerde unter Gewährung der unentgeltlichen Rechtspflege für das kantonale Verfahren ab (Entscheid vom 19. Februar 2008).
C. I._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, kantonaler Gerichtsentscheid und Einspracheentscheid seien dahingehend abzuändern, dass eine Invalidenrente zugesprochen werde; eventuell sei die Sache in Aufhebung beider Entscheide zu ergänzenden Abklärungen an die Verwaltung zurückzuweisen. Weiter wird um unentgeltliche Rechtspflege für das letztinstanzliche Verfahren ersucht.
Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
D. Mit Eingabe vom 5. November 2008 lässt I._ zwei neue Aktenstücke auflegen.
Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
1.2 Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene kantonale Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht, Völkerrecht oder kantonale verfassungsmässige Rechte verletzt (Art. 95 lit. a-c BGG), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Hingegen hat unter der Herrschaft des BGG eine freie Überprüfung des vorinstanzlichen Entscheids in tatsächlicher Hinsicht zu unterbleiben (ausser wenn sich die Beschwerde gegen einen Entscheid über die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung richtet; Art. 97 Abs. 2 BGG). Zur auch unter der Geltung des BGG massgebenden Abgrenzung von Tat- und Rechtsfragen im Bereich der Invaliditätsbemessung wird auf BGE 132 V 393 verwiesen.
2. Im Einsprache- und im angefochtenen Entscheid sind die Bestimmungen über die Voraussetzungen und den Umfang des streitigen Anspruchs auf eine Invalidenrente sowie über die Festsetzung des Invaliditätsgrades bei Erwerbstätigen nach der allgemeinen Methode des Einkommensvergleichs zutreffend wiedergegeben. Hervorzuheben ist, dass der Rentenanspruch einen Invaliditätsgrad von mindestens 40 % erfordert (Art. 28 Abs. 1 IVG in der bis Ende 2007 gültig gewesenen Fassung). Ebenfalls zutreffend dargelegt ist die Rechtsprechung über die Aufgabe des Arztes bei der Invaliditätsbemessung (BGE 125 V 256 E. 4 S. 261 mit Hinweisen; vgl. auch BGE 132 V 93 E. 4 S. 99 f. mit Hinweisen) und über die Anforderungen an beweiskräftige ärztliche Berichte und Gutachten (BGE 125 V 351 E. 3 S. 352 ff.; 122 V 157 E. 1c S. 160 f.; vgl. auch BGE 134 V 231 E. 5.1 S. 232). Richtig ist auch, dass das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses der streitigen Verfügung resp. des streitigen Einspracheentscheides eingetretenen Sachverhalt abstellt (BGE 131 V 242 E. 2.1 S. 243; 130 V 445 E. 1.2 S. 446, je mit Hinweis). Zu ergänzen bleibt, dass die im Rahmen der 5. IV-Revision auf den 1. Januar 2008 erfolgten Rechtsänderungen intertemporalrechtlich nicht anwendbar sind.
3. Die Versicherte legt mit der Beschwerde neu eine Stellungnahme des behandelnden Psychiaters Dr. med. F._ vom 1. April 2008 und mit nachträglicher Eingabe vom 5. November 2008 überdies zwei Zeitungsartikel auf. Die Frage der prozessualen Zulässigkeit dieses Vorgehens muss nicht beantwortet werden, da die Eingabe und die Beweismittel ohnehin keinen entscheidrelevanten Inhalt aufweisen. Das zeigen die folgenden Erwägungen.
4. Das kantonale Gericht hat zunächst erwogen, für die von der Versicherten subjektiv empfundenen Schmerzen habe aus körperlicher Sicht keine adäquate Erklärung gefunden werden können. Eine körperlich leichte Tätigkeit sei vollumfänglich zumutbar.
Diese auf einer einlässlichen Würdigung der medizinischen Akten beruhende Beurteilung wird von der Versicherten nicht explizit in Frage gestellt. In der Stellungnahme des Dr. med. F._ vom 1. April 2008 wird zwar unter Hinweis insbesondere auf den Bericht der Frau Dr. med. B._, Psychosomatik, Spital Z._, vom 21. Mai 2007 ein organisches Korrelat postuliert. Entsprechendes ergibt sich indessen nicht aus den Ausführungen der Frau Dr. med. B._. Diese erwähnt ausserhalb der psychiatrischen Befunde im Wesentlichen unklare, mithin diagnostisch nicht verlässlich zuzuordnende Schmerzen und Fieberschübe. Eine organische Gesundheitsstörung, welche die geklagten Beschwerden erklären und eine Arbeitsunfähigkeit auch in einer körperlich leichten Tätigkeit begründen könnte, ist mit der Aussage des Dr. med. F._, wonach chronische Schmerzen letztlich Funktionsstörungen bestimmter Nervenzellverbände darstellten, ebenfalls nicht zuverlässig dargetan.
5. Die Vorinstanz ist im Weiteren zum Ergebnis gelangt, es bestehe aus psychiatrischer Sicht kein die Arbeitsfähigkeit einschränkendes Leiden. Sie stützt sich dabei auf das Gutachten des Instituts X._ vom 14. März 2007. Danach liegen einzig akzentuierte (histrionische) Persönlichkeitszüge ohne Auswirkungen auf die Arbeitsfähigkeit vor.
5.1 Die Versicherte erneuert zunächst ihren schon vorinstanzlich geltend gemachten Einwand, auf das Gutachten des Instituts X._ hätte aus formellen Gründen nicht abgestellt werden dürfen. Die IV-Stelle habe den Begutachtungsauftrag an Dr. med. Y._ erteilt. Dieser habe dann die Begutachtung durch Frau Dr. med. J._ durchführen lassen. Das sei aufgrund der höchstpersönlichen Leistungspflicht des beauftragten medizinischen Gutachters nicht zulässig und stelle zudem eine Verletzung des rechtlichen Gehörs dar.
5.1.1 Das kantonale Gericht hat hiezu erwogen, zwar hätte das Gutachten grundsätzlich durch den beauftragten Experten erstellt werden müssen. Der Versicherten sei aber vor der Begutachtung angezeigt worden, dass diese durch Frau Dr. med. J._ durchgeführt werde. Dagegen seien keine Einwände erhoben worden. Soweit dennoch auf eine Verletzung des rechtlichen Gehörs geschlossen würde, wäre diese jedenfalls als geheilt zu betrachten.
5.1.2 Die IV-Stelle erteilte den Auftrag, ein psychiatrisches Gutachten zu erstellen, mit verfahrensleitender Anordnung vom 26. April 2006 an Dr. med. Y._. Die eigentliche Begutachtung nahm dann Frau Dr. med. J._ vor, welche die Expertise vom 14. März 2007 dann auch als erste unterzeichnete. Ein weiterer Psychiater, Dr. med. R._, erklärte unterschriftlich, mit Beurteilung und Schlussfolgerung der Frau Dr. med. J._ einverstanden zu sein, während Dr. med. Y._ das Gutachten visierte. Dass Frau Dr. med. J._ die Begutachtung vornehmen werde, wurde der Versicherten indessen bereits mit den Einladungen zu den beiden Untersuchungsterminen vom 12. Juli 2006 und 20. Februar 2007 angezeigt. Aus dem Briefkopf der Einladungen konnte zudem ersehen werden, dass Frau Dr. med. J._ die Begutachtung als Ärztin des Instituts X._ durchführen werde und dass Dr. med. Y._ Leiter dieses Instituts ist. Auch Dr. med. R._ ist, als Leitender Arzt des Instituts X._, im Briefkopf aufgeführt. Die IV-Stelle erhielt Kopien der Einladungen. Weder die Verwaltung noch die Versicherte erhoben Einwendungen. Erst nach Vorliegen des Gutachtens vom 14. März 2007 beanstandete die Versicherte die Durchführung durch Frau Dr. med. J._. Unter diesen Umständen hat das kantonale Gericht einen formellen Mangel, der einem Abstellen auf das Gutachten entgegenstünde, zu Recht verneint. Auch der Anspruch des Auftraggebers darauf, dass die Begutachtung durch die beauftragte Person durchgeführt wird (vgl. Alfred Bühler, Die Mitwirkung Dritter bei der medizinischen Begutachtung im sozialversicherungsrechtlichen Verwaltungsverfahren, in: Jusletter 3. September 2007), könnte der Verwendung des Gutachtens vom 14. März 2007 nicht entgegengehalten werden, zumal die IV-Stelle offensichtlich mit der Delegation an Frau Dr. med. J._ einverstanden war. Festzuhalten bleibt, dass in der Beschwerde weder geltend gemacht wird, dass Frau Dr. med. J._ fachlich nicht befähigt gewesen sein sollte, die Begutachtung durchzuführen, noch Ausstandsgründe angeführt werden.
5.1.3 Mit Eingabe vom 5. November 2008 macht die Versicherte geltend, das Institut X._ sei nicht als verlässliche Begutachtungsstelle zu betrachten. Sie legt zur Stützung ihres Vorbringens zwei Zeitungsartikel auf, welche sich mit dem Leiter des Instituts X._ befassen. Den Zeitungsartikeln lässt sich indessen nichts entnehmen, was die hier interessierende Zuverlässigkeit des Gutachtens des Instituts X._ vom 14. März 2007 ernsthaft in Frage zu stellen vermöchte. Die Argumentation der Beschwerdeführerin ist im Übrigen nicht widerspruchsfrei, wenn einerseits ausdrücklich die Durchführung des Gutachtens durch den Institutsleiter verlangt, anderseits aber dessen Eignung hiefür in Frage gestellt wird.
5.2 Die Versicherte beanstandet das Gutachten des Instituts X._ vom 14. März 2007 auch inhaltlich.
5.2.1 Das kantonale Gericht hat einlässlich dargelegt, weshalb es das Gutachten des Instituts X._ als verlässliche Grundlage für die Beurteilung des psychischen Gesundheitszustandes und seiner Auswirkungen auf die Arbeitsfähigkeit betrachtet. Es hat dabei auch begründet, warum es die Einschätzung in der Expertise für überzeugender hält als diejenige in den übrigen Arztberichten, soweit sich diese bezüglich Diagnostik und Arbeitsfähigkeit abweichend äussern.
In der Beschwerde wird nichts vorgebracht, was diese Beurteilung als offensichtlich unrichtig oder auf einer Bundesrechtsverletzung beruhend erscheinen liesse. Dies gilt insbesondere auch, soweit sich die Versicherte erneut auf im Verwaltungs- und im kantonalen Verfahren aufgelegte Stellungnahmen des behandelnden Psychiaters Dr. med. F._ beruft. Die Würdigung dieser Stellungnahmen und der weiteren Arztberichte, wie des bereits erwähnten der Frau Dr. med. B._ vom 21. Mai 2007, durch das kantonale Gericht ist im Rahmen der bundesgerichtlichen Überprüfungsbefugnis nicht zu beanstanden. Die Vorinstanz hat dabei auch entgegen der in der Beschwerde vertretenen Auffassung die Rechtsprechung, wonach Aussagen der behandelnden Ärzte aufgrund deren Vertrauensverhältnis zum Patienten in der Regel zurückhaltend zu gewichten sind (vgl. hiezu BGE 125 V 351 E. 3b/cc mit Hinweisen; insbesondere zu den schmerztherapeutisch tätigen Ärzten: SVR 2008 IV Nr. 2 S. 3 E. 4 mit Hinweis), mit einzelfallbezogener Begründung in nicht zu beanstandender Weise angewendet.
Die Versicherte macht sodann, gestützt auf Dr. med. F._, geltend, es sei ein Obergutachten bei einem auf Schmerzkrankheiten spezialisierten Psychiater einzuholen. Das kantonale Gericht ist indessen in nicht zu beanstandender antizipierter Beweiswürdigung zum Ergebnis gelangt, der medizinische Sachverhalt sei genügend abgeklärt.
5.2.2 Es kann im Übrigen auf die zutreffenden Erwägungen im angefochtenen Entscheid verwiesen werden. Besonderer Erwähnung bedarf einzig noch die umstrittene Frage einer gesundheitlichen Verschlechterung. Das kantonale Gericht hat erkannt, der mit der vorinstanzlichen Beschwerde eingereichte Verlaufsbericht des Dr. med. F._ datiere erst vom 25. Oktober 2007 und belege daher keine anspruchsrelevante Verschlechterung bis zum - die gerichtliche Überprüfung zeitlich begrenzenden (vgl. E. 2 hievor) - Erlass des Einspracheentscheides vom 3. Oktober 2007. Die Versicherte könne eine seit diesem Zeitpunkt eingetretene Verschlimmerung mittels einer neuen Anmeldung bei der IV-Stelle geltend machen.
Die Beschwerdeführerin wendet ein, dies sei überspitzt formalistisch. Dr. med. F._ verneine in der Stellungnahme vom 1. April 2008 eine erst nach dem Einspracheentscheid eingetretene Verschlechterung des Gesundheitszustandes. Er bestätige sodann, dass eine solche Verschlimmerung auch in der Zeit seit der Begutachtung am Institut X._ nicht eingetreten sei. Vielmehr bestehe die gesundheitliche Problematik in der von Dr. med. F._ beschriebenen Schwere seit vielen Monaten.
Nach dem zuvor Gesagten hat das kantonale Gericht bezüglich des psychischen Gesundheitszustandes in nicht zu beanstandender Weise auf das Gutachten des Instituts X._ vom 14. März 2007 abgestellt. Dieses beschreibt die Situation im Zeitpunkt der vorgenommenen Begutachtung. Wenn nun Dr. med. F._ bestätigt, dass in der Zeit zwischen dieser Begutachtung und dem Einspracheentscheid keine gesundheitliche Verschlechterung eingetreten ist, vermag diese Aussage den Leistungsanspruch der Versicherten nicht zu stützen. Der Einwand geht daher fehl.
6. Es bleibt demnach bei einer vollen Arbeitsfähigkeit in körperlich leichten Tätigkeiten. Davon ausgehend hat das kantonale Gericht einen Einkommensvergleich vorgenommen, welcher einen nicht rentenbegründenden Invaliditätsgrad ergeben hat. Hiegegen werden, abgesehen von dem wie dargelegt nicht begründeten Vorbringen, es liege eine höhere Arbeitsunfähigkeit vor, keine Einwendungen erhoben. Der angefochtene Entscheid ist somit rechtens.
7. Die Gerichtskosten werden der unterliegenden Beschwerdeführerin auferlegt (Art. 66 Abs. 1 BGG). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Rechtsanwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Der Beschwerdeführerin wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Willi Füchslin, Lachen, wird als unentgeltlicher Anwalt der Beschwerdeführerin bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2500.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. Dezember 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Lanz