Sachverhalt:
A. A.a Die 1954 geborene V._ arbeitete ab 1987 als Kassiererin in der Genossenschaft Z._. Am 27. April 1997 verstarb unfallbedingt ihr Ehemann. V._ bezog ab 1. Mai 1997 eine AHV-Witwenrente und UVG-Hinterlassenenleistungen. Ab Ende April 1997 wurde ihr von ärztlicher Seite eine teils vollständige, teils hälftige Arbeitsunfähigkeit attestiert. Nachdem es nicht gelungen war, V._ innerhalb des Betriebs eine behinderungsangepasste Tätigkeit zuzuweisen, wurde das Arbeitsverhältnis aufgelöst. Letzter Arbeitstag war der 23. März 1998. Im Oktober 1998 meldete sich V._ bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich traf medizinische und erwerbliche Abklärungen und sprach der Versicherten mit Verfügungen vom 22. Februar 2000 und 22. Februar 2001 rückwirkend ab 1. April 1998 eine halbe Invalidenrente bei einem Invaliditätsgrad von 62 % zu. Sie qualifizierte hiebei V._ als im Gesundheitsfall zu 74 % erwerblich und zu 26 % im Haushalt Tätige. Die Invalidenrente wurde infolge des Anspruchs auf eine AHV-Witwenrente - und an deren Stelle - als ganze Rente ausgerichtet. Auf den 1. Januar 2004 wurde die Invalidenrente infolge Inkrafttretens der 4. IV-Revision bei gleichbleibendem Invaliditätsgrad auf eine Dreiviertelsrente erhöht.
A.b Im März 2007 leitete die IV-Stelle ein Revisionsverfahren ein, in dessen Verlauf die Versicherte eine Verschlechterung des Gesundheitszustandes geltend machte. Die Verwaltung holte hierauf nebst weiteren Arztberichten ein polydisziplinäres medizinisches Gutachten des medizinischen Instituts X._ vom 30. April 2008 (mit Nachtrag vom 4. Juni 2008) ein. Mit Verfügung vom 31. Oktober 2008 hob sie die Invalidenrente per 30. November 2008 revisionsweise auf. Sie begründete dies damit, die Versicherte könne, bei unveränderter Aufteilung der hypothetischen Tätigkeitsbereiche, aufgrund der nunmehr gegebenen verbesserten gesundheitlichen Verhältnisse ein höheres Erwerbseinkommen erzielen. Damit bestehe im erwerblichen Betätigungsbereich keine Invalidität mehr. Bei unveränderter Beeinträchtigung im Haushalt ergebe sich ein Gesamtinvaliditätsgrad von 7 % und damit kein Rentenanspruch mehr.
Mit Verfügung vom 26. November 2008 sprach die Ausgleichskasse des Kantons Zürich V._ mit Wirkung ab 1. Dezember 2008 erneut eine AHV-Witwenrente zu.
B. Die von V._ gegen die Verfügung der IV-Stelle vom 31. Oktober 2008 erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 26. März 2010 ab. Es bejahte dabei in zweifacher Hinsicht einen Rentenrevisionsgrund: Zum einen sei eine relevante gesundheitliche Verbesserung eingetreten. Zum anderen sei - entgegen der angefochtenen Verfügung - von einer Änderung des Aufgabenbereichs auszugehen, was zur Folge habe, dass die Invalidität nach einer anderen Methode zu bemessen sei.
C. V._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben mit dem Rechtsbegehren, es sei der vorinstanzliche Entscheid aufzuheben und zu erkennen, dass sie auch ab 1. Dezember 2008 Anspruch auf eine Invalidenrente habe.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. des Bundesgesetzes über das Bundesgericht, BGG) kann wegen Rechtsverletzung gemäss Art. 95 und 96 BGG erhoben werden. Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Streitig und zu prüfen ist, ob die Verwaltung zu Recht die seit 1998 laufende Invalidenrente revisionsweise aufgehoben hat. Die Vorinstanz hat dies bejaht und ist dabei davon ausgegangen, es bestünden Revisionsgründe infolge gesundheitlicher Verbesserung und Änderung des Aufgabenbereichs. Dagegen richtet sich die Beschwerde der Versicherten.
3. 3.1 Das kantonale Gericht hat die Bestimmungen und Grundsätze über den Anspruch auf eine Invalidenrente, die Invaliditätsbemessung bei Erwerbstätigen mittels Einkommensvergleich und bei teils erwerblich und teils im Aufgabenbereich (in der Regel im Haushalt) tätigen Versicherten nach der sog. gemischten Methode sowie über die Rentenrevision zutreffend dargelegt. Darauf wird verwiesen.
3.2 Hervorzuheben ist, dass gemäss <ref-law> bei einer erheblichen Änderung des Invaliditätsgrades eines Rentenbezügers die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben wird.
Anlass zur Revision einer Invalidenrente im Sinne von <ref-law> gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen, die geeignet ist, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen. Die Invalidenrente ist somit nicht nur bei einer wesentlichen Veränderung des Gesundheitszustandes, sondern auch dann revidierbar, wenn sich die erwerblichen Auswirkungen des an sich gleich gebliebenen Gesundheitsschadens erheblich verändert haben. Ein Revisionsgrund ist ferner unter Umständen auch dann gegeben, wenn eine andere Art der Bemessung der Invalidität zur Anwendung gelangt oder eine Wandlung des Aufgabenbereichs eingetreten ist (<ref-ruling> E. 3.5 Ingress S. 349 f. mit Hinweisen).
Die Frage der wesentlichen Änderung in den tatsächlichen Verhältnissen beurteilt sich durch Vergleich des Sachverhalts, wie er im Zeitpunkt der letzten rechtskräftigen und auf einer materiellen Prüfung des Rentenanspruchs (mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Invaliditätsbemessung) beruhenden Verfügung bestanden hat, mit demjenigen zur Zeit der streitigen Revisionsverfügung (<ref-ruling> E. 3 S. 132 f. und 133 V 108 E. 5.4 S. 114).
4. Gemäss dem angefochtenen Entscheid bilden die rentenzusprechenden Verfügungen vom 22. Februar 2000 und 22. Februar 2001 den zeitlichen Ausgangs- und Vergleichspunkt für die Beurteilung, ob eine - gegebenenfalls revisionsbegründende - Änderung in den tatsächlichen Verhältnissen eingetreten ist. Das ist zu Recht nicht umstritten.
5. Das kantonale Gericht ist gestützt auf das Gutachten des medizinischen Instituts X._ vom 30. April/4. Juni 2008 zum Ergebnis gelangt, im massgeblichen Zeitraum habe sich der Gesundheitszustand erheblich verändert. Dies wird von der Beschwerdeführerin bestritten.
5.1 Im Gutachten des medizinischen Instituts X._ vom 30. April 2008 werden als Diagnosen mit Einfluss auf die Arbeitsfähigkeit genannt: Chronisches zervikal und lumbalbetontes panvertebrales Schmerzsyndrom (bei deutlicher Wirbelsäulenfehlhaltung und muskulärer Dekonditionierung); rezidivierende depressive Störung, gegenwärtig remittiert; anhaltende somatoforme Schmerzstörung. Als Diagnosen ohne Einfluss auf die Arbeitsfähigkeit werden aufgeführt: Chronisches multilokuläres Schmerzsyndrom (bei anhaltender somatoformer Schmerzstörung); metabolisches Syndrom (bei Adipositas, Dyslipidämie, arterieller Hypertonie, leichter Hyperurikämie); fortgesetzter Nikotinkonsum (schädlicher Gebrauch); Verdacht auf Polyneuropathie unklarer Ätiologie; leichte Hepatopathie unklarer Ätiologie. Ausgehend von diesen Diagnosen bestätigen die Experten eine volle Arbeitsunfähigkeit in der angestammten Tätigkeit einer Kassiererin. Hingegen bestehe für eine den körperlichen Leiden angepasste Tätigkeit eine Arbeitsfähigkeit von 80 %.
Auf Nachfrage der IV-Stelle bestätigten die Gutachter des medizinischen Instituts X._ sodann am 4. Juni 2008, im Rahmen der somatoformen Schmerzstörung und des multilokulären Schmerzsyndroms sei eine seit Jahren bestehende gleiche Situation vorhanden, die teilweise anders beurteilt worden sei. Eine veränderte Situation bestehe hingegen insofern - und sei für Verweistätigkeiten relevant -, dass zur Berentung im Wesentlichen auch eine depressive Störung geführt habe, während aktuell keine Depression mehr nachweisbar sei.
5.2 Neue medizinische Feststellungen sind revisionsrechtlich nur bedeutsam, wenn sie eine tatsächliche Veränderung der - hier gesundheitlichen - Verhältnisse im Sinne einer objektiven Verbesserung des Gesundheitszustands mit entsprechend gesteigerter Arbeitsfähigkeit zum Ausdruck bringen. Hingegen stellt die bloss andere, abweichende Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhalts keine revisionsbegründende oder im Rahmen der Revision relevante Änderung dar (<ref-ruling>; SVR 2009 IV Nr. 57 S. 177, 9C_149/2009 E. 3.2.1, 2004 IV Nr. 5 S. 13, I 574/02 E. 2; Urteil 8C_329/2010 vom 6. August 2010 E. 2.1 mit Hinweis).
Im Lichte dieser Grundsätze liesse sich mit den Aussagen der Experten des medizinischen Instituts X._ zum Gesundheitszustand ausserhalb der depressiven Problematik keine Revision begründen. Davon geht offensichtlich auch die Vorinstanz aus, welche - wie bereits die Verwaltung in der Verfügung vom 31. Oktober 2008 - als solche Veränderung einzig den von den Gutachtern des medizinischen Instituts X._ erwähnten Wegfall der Depression nennt.
Ob diesbezüglich eine erhebliche Änderung eingetreten ist, ist Tatfrage und kann damit vom Bundesgericht nur auf offensichtliche Unrichtigkeit und auf Rechtsverletzung im Sinne von <ref-law> überprüft werden (vgl. SVR 2009 IV Nr. 57 S. 177, 9C_149/2009 E. 3.2.3; E. 1 hievor).
5.3 Die Versicherte rügt die Feststellung einer revisionsbegründenden gesundheitlichen Veränderung durch die Vorinstanz als offensichtlich unrichtig. Der Rentenzusprechung habe gar keine depressive Problematik zugrunde gelegen.
Das kantonale Gericht hat hiezu erwogen, die längere depressive Reaktion habe im Attest des Dr. med. K._, Psychiatrie und Psychotherapie FMH, vom 2. Dezember 1998 Bestandteil der Diagnose gebildet und sei auch bei Therapiebeginn im April 1998 im Vordergrund gestanden. Dafür spreche zudem die Tatsache, dass der Beginn der medizinisch attestierten 100%igen Arbeitsunfähigkeit gemäss Angaben im Fragebogen der Arbeitgeberin auf den 29. April 1997, den Zeitpunkt des Verlustes des am 27. April 1997 verstorbenen Ehemannes gefallen sei. Sowohl aus der persönlichen psychiatrischen Anamnese als auch aus der psychiatrischen Beurteilung gemäss Gutachten des medizinischen Instituts X._ vom 30. April 2008 gehe klar hervor, dass sich die seit der Geburt der Tochter (nach Lage der Akten: im Jahr 1976) bestandenen körperlichen Beschwerden nach dem Unfalltod des Ehemannes wesentlich verschlimmert und eine depressive Krise ausgelöst hätten, die schliesslich zum Verlust des Arbeitsplatzes geführt habe.
Die Versicherte begründet ihre abweichende Auffassung damit, die echtzeitlichen Akten zeigten klar, dass keine die Arbeitsfähigkeit beeinträchtigende depressive Störung bestanden habe und eine solche auch der Rentenzusprechung nicht zugrunde gelegt worden sei. Die rückblickende Einschätzung der Experten des medizinischen Instituts X._ überzeuge nicht. Gleiches gelte für die vorinstanzlichen Erwägungen.
Im Einzelnen ergibt sich Folgendes:
5.3.1 Der behandelnde Psychiater Dr. med. K._ führte in seinem Erstbericht vom 2. Mai 1998 aus, er glaube nicht, dass bei der Versicherten eine schwere depressive Störung vorliege, die sich negativ auf die Arbeitsfähigkeit auswirke. Eher liege eine somatoforme Störung vor. Im von der Vorinstanz erwähnten Folgebericht vom 2. Dezember 1998 hielt Dr. med. K._ dann fest, zu Beginn der im April 1998 begonnenen Behandlung habe ein depressives Zustandsbild bestanden. Unter Medikation sei aber eine deutliche Stimmungsaufhellung eingetreten. Der Psychiater diagnostizierte sodann zwar eine längere depressive Reaktion. Er nannte diese aber erst als letzte der drei von ihm aufgeführten Diagnosen, nach denjenigen einer Fibromyalgie und einer somatoformen Schmerzstörung. Dr. med. K._ erläuterte die Diagnosen überdies wie folgt: "Gemäss Hausarzt Fibromyalgie. Aus meiner Sicht besteht sicherlich eine somatoforme Schmerzstörung und Schmerzverarbeitungsstörung. Tod des Ehemannes brachte Patientin in eine äusserst schwierige psychosoziale Situation, sicherlich überfordert. Obwohl man den Tod des Ehemannes sicherlich nicht für die Fibromyalgie verantwortlich machen kann, verstärkte der Tod die Somatisierungstendenz." Die depressive Problematik erwähnte Dr. med. K._ weder bei diesen Ausführungen noch bei der darauffolgenden Einschätzung der Arbeitsfähigkeit.
Aufgrund des Gesagten muss davon ausgegangen werden, dass Dr. med. K._ zwar eine depressive Problematik feststellte, diese sich aber besserte und vom Psychiater in Bezug auf die Frage der Arbeitsfähigkeit als nicht relevant betrachtet wurde.
Es ergeben sich sodann auch aus den übrigen medizinischen Akten aus der damaligen Zeit keine Anhaltspunkte dafür, dass eine relevante depressive Störung vorlag.
5.3.2 Von den Gutachtern des medizinischen Instituts X._ und gestützt auf diese vom kantonalen Gericht wird dennoch die Auffassung vertreten, es habe bei der Rentenzusprechung eine die Arbeitsfähigkeit beeinträchtigende depressive Störung bestanden.
Hiebei gilt es vorab zu beachten, dass es generell und namentlich bei psychischen Störungen schwierig ist, rückwirkend und überdies für einen weit zurückliegenden Zeitraum die Arbeitsfähigkeit zuverlässig zu beurteilen (Urteil 8C_808/2007 vom 16. Mai 2008 E. 5.4.1 mit Hinweisen). Dies bedingt schon in grundsätzlicher Hinsicht, die rückblickenden Aussagen der Gutachter des medizinischen Instituts X._ zurückhaltend zu gewichten und besonders auf Übereinstimmung mit den echtzeitlichen Akten zu überprüfen.
Die Auffassung von Experten des medizinischen Instituts X._ und kantonalem Gericht widerspricht sodann wie dargelegt der Beurteilung des behandelnden Psychiaters und findet in den übrigen echtzeitlichen Akten keine Stütze. Weder von den Experten des medizinischen Instituts X._ noch vom kantonalen Gericht werden Anhaltspunkte vorgebracht, welche mit auch nur ansatzweiser Überzeugungskraft auf eine damalige relevante depressive Störung schliessen liessen. Die entsprechende Feststellung der Vorinstanz ist als offensichtlich unrichtig zu betrachten.
5.3.3 Zu beachten ist weiter Folgendes: Dr. med. P._ äusserte sich als Arzt beim damaligen medizinischen Dienst der Invalidenversicherung vor der Rentenzusprechung in zwei Stellungnahmen vom 5. und 20. November 1999. Er hielt im Wesentlichen fest, dass gemäss den Dres. med. H._, Neurologie FMH, und E._, FMH für Rheumaerkrankungen, eine Arbeitsunfähigkeit auch in angepassten Tätigkeiten ausgewiesen sei. Darauf sei bei der Invaliditätsbemessung abzustellen. Die IV-Stelle folgte dieser Beurteilung ihres Arztes offensichtlich bei der Rentenzusprechung.
Die Dres. med. H._ und E._ erwähnten nun aber in den von Dr. med. P._ für massgeblich erachteten Berichten vom 23. Oktober 1998, 15. Mai 1999 und 28. Oktober 1999 keine depressive Störung. Sie führten eine solche folgerichtig auch nicht bei der Begründung der von ihnen bestätigten Arbeitsunfähigkeit an. In den Stellungnahmen des Dr. med. P._ ist ebenfalls keine Rede von einer solchen Problematik. Demzufolge ist die vorinstanzliche Feststellung, wonach bei der Rentenzusprechung eine depressive Störung mitberücksichtigt wurde, offensichtlich unrichtig.
5.4 Nach dem Gesagten lag der Rentenzusprechung keine depressive Problematik zugrunde. Mit einer Besserung eines solchen Leidens lässt sich die Revision der seit 1998 laufenden Rente daher nicht begründen. Eine andersartige gesundheitliche Verbesserung, welche gegebenenfalls eine Rentenrevision zu rechtfertigen vermöchte, liegt wie dargelegt (E. 5.2 hievor) nicht vor.
6. Die Vorinstanz sieht als weiteren Revisionsgrund eine Wandlung des Aufgabenbereichs und eine damit einhergehende Änderung der anwendbaren Invaliditätsbemessungsmethode. Bei der Rentenzusprechung sei die Versicherte als (im Umfang von 74 %) Teilerwerbstätige und im Übrigen (zu 26 %) als im Aufgabenbereich Haushalt Tätige betrachtet worden. Dementsprechend sei die Invalidität nach der gemischten Methode bemessen worden. Aufgrund geänderter Umstände sei nunmehr davon auszugehen, dass die Beschwerdeführerin im Gesundheitsfall vollzeitlich erwerbstätig wäre. Die Invalidität sei daher mittels Einkommensvergleich zu bestimmen.
Die Beschwerdeführerin erachtet die Änderung ihres Tätigkeitsstatus zwar für richtig, bestreitet aber, dass dies eine Revision zu begründen vermöge.
Zwar trifft zu, dass eine andere Art der Invaliditätsbemessung oder eine Wandlung des Aufgabenbereichs einen Revisionsgrund darstellen kann (E. 3.2 hievor). Im vorliegenden Fall ist aber zu berücksichtigen, dass die erwerbliche Tätigkeit bei der Rentenzusprechung in einem höheren Mass gesundheitsbedingt beeinträchtigt war als die Tätigkeit im Haushalt. Mit der Wandlung des Aufgabenbereichs würde der Erwerbsbereich und damit die darin bestehende Einschränkung im Rahmen der Invaliditätsbemessung noch an Gewicht gewinnen resp. alleine massgeblich sein. Bei gleich gebliebenem Gesundheitszustand sowie Arbeitsfähigkeit und ansonsten ebenfalls unveränderten Verhältnissen folgte daraus eher ein höherer Gesamtinvaliditätsgrad, weshalb dem Revisionsbegehren zum vornherein kein Erfolg beschieden sein kann.
7. Im angefochtenen Entscheid wird weiter die Möglichkeit einer wiedererwägungsweisen Aufhebung der Rente erwähnt.
Der Versicherungsträger kann auf formell rechtskräftige Verfügungen oder Einspracheentscheide zurückkommen, wenn diese zweifellos unrichtig sind und wenn ihre Berichtigung von erheblicher Bedeutung ist. Er kann eine Verfügung oder einen Einspracheentscheid, gegen den Beschwerde erhoben wurde, so lange wiedererwägen, bis er gegenüber der Beschwerdebehörde Stellung nimmt (Art. 53 Abs. 2 und 3 ATSG). Rechtsprechungsgemäss gilt sodann, dass wenn die zweifellose Unrichtigkeit der ursprünglichen Rentenverfügung erst vom Gericht festgestellt wird, dieses die auf <ref-law> gestützte Revisionsverfügung der Verwaltung mit entsprechender substituierter Begründung schützen kann (<ref-ruling> E. 3 S. 369; Urteil 9C_303/2010 vom 5. Juli 2010 E. 4). Ferner ist darauf zu verweisen, dass formell rechtskräftige Verfügungen und Einspracheentscheide vom Versicherungsträger in Revision gezogen werden müssen, wenn die versicherte Person oder der Versicherungsträger nach deren Erlass erhebliche neue Tatsachen oder Beweismittel auffindet, deren Beibringung zuvor nicht möglich war (<ref-law>; sog. prozessuale Revision).
Das kantonale Gericht hat nicht abschliessend entschieden, ob die laufende Rente wiedererwägungsweise aufzuheben sei. Es scheint denn auch fraglich, ob die ursprünglichen Verfügungen in der Tat als zweifellos unrichtig zu betrachten wären. Sodann stehen neue Tatsachen oder Beweismittel, welche gegebenenfalls eine prozessuale Revision zu rechtfertigen vermöchten, nicht zur Diskussion. Die Aufhebung der laufenden Rente erfolgte demnach unbegründet. Dies führt zur Gutheissung der Beschwerde.
8. Die Kosten des Verfahrens sind von der unterliegenden Beschwerdegegnerin zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 26. März 2010 und die Verfügung der IV-Stelle des Kantons Zürich vom 31. Oktober 2008 werden aufgehoben.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 27. August 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Lanz