Sachverhalt: L._ (geb. 1954) erhielt von der IV-Stelle des Kantons Zürich mit Verfügung vom 11. August 1999 eine halbe IV-Rente ab 1. September 1997 zugesprochen. Auf Beschwerde hin wies das Sozialversicherungsgericht des Kantons Zürich die Sache mit Entscheid vom 23. März 2001 zu näheren Abklärungen an die IV-Stelle zurück. Nach Einholen weiterer medizinischer Akten hob die IV-Stelle die halbe Rente mit Verfügung vom 7. Mai 2003 auf Ende Juni 2003 auf. Nach Einsprache von L._ hin nahm die IV-Stelle mit Entscheid vom 27. Februar 2004 eine reformatio in peius vor und stellte die Zahlung der halben IV-Rente bereits Ende November 2002 ein. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 3. September 2004 ab. L._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es sei ihr mindestens eine halbe IV-Rente zuzusprechen. Eventuell sei die Sache zu näheren Abklärungen an die IV-Stelle zurückzuweisen. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.