Sachverhalt: A. N._, geboren 1966, liess im Juni 2003 bei der Invalidenversicherung die Abgabe eines Treppenlifts als Hilfsmittel in ihrem Haushalt beantragen. Die IV-Stelle des Kantons St. Gallen zog den Bericht vom 24. Februar 2003 über die am 6. Februar 2003 erfolgte Abklärung im Haushalt bei und holte weitere Auskünfte ein. Mit Verfügung vom 1. Juli 2003 lehnte die Verwaltung die Abgabe eines Treppenliftes ab, da durch dieses Hilfsmittel keine Steigerung der Leistungsfähigkeit im Haushalt erreicht werden könne. Dies wurde durch Einspracheentscheid vom 7. November 2003 bestätigt. B. Das Versicherungsgericht des Kantons St. Gallen hiess die dagegen unter Beilage eines ärztlichen Berichts erhobene Beschwerde mit Entscheid vom 29. April 2004 gut und stellte fest, dass N._ Anspruch auf einen Treppenlift habe. C. Die IV-Stelle führt Verwaltungsgerichtsbeschwerde mit dem Antrag, den vorinstanzlichen Entscheid aufzuheben. N._ lässt auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen, während das Bundesamt für Sozialversicherung (BSV) auf eine Vernehmlassung verzichtet.