Sachverhalt: Sachverhalt: A. Die 1947 geborene K._ meldete sich am 1. Mai 2003 bei der Invalidenversicherung zum Leistungsbezug an. Im Anmeldeformular gab sie als Gesundheitsschaden Rückenschmerzen und Depressionen an und nannte als sie zuletzt behandelnden Arzt Dr. S._. Die Frage nach früher sie behandelnden Ärzten verneinte sie, indem sie die für die Antwort zur Verfügung stehenden Zeilen diagonal durchstrich. Die IV-Stelle Bern holte neben einem Auszug aus dem individuellen Konto einen Bericht des Hausarztes Dr. S._ vom 16. Juni 2003 ein. Gestützt auf diese Unterlagen wies sie das Leistungsbegehren wegen fehlender Invalidität mit Verfügung vom 24. Juni 2003 ab, worauf K._ der IV-Stelle die Vollmacht für Abklärungen bei Ärzten entzog. Wenige Tage später erhob sie Einsprache mit dem Antrag auf eine medizinische Begutachtung durch eine neutrale Stelle, ohne dies indessen näher zu begründen. Die IV-Stelle hielt im Einspracheentscheid vom 24. Dezember 2003 an ihrer leistungsablehnenden Haltung fest, da der Bericht von Dr. S._ schlüssig sei und im Übrigen keine Gründe für weitere Abklärungen erkennbar seien. Die IV-Stelle hielt im Einspracheentscheid vom 24. Dezember 2003 an ihrer leistungsablehnenden Haltung fest, da der Bericht von Dr. S._ schlüssig sei und im Übrigen keine Gründe für weitere Abklärungen erkennbar seien. B. Eine dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 11. März 2004 ab. Zur Begründung führte das Gericht aus, weitere Abklärungen seien angesichts des klaren Berichts des Hausarztes nicht angezeigt. B. Eine dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 11. März 2004 ab. Zur Begründung führte das Gericht aus, weitere Abklärungen seien angesichts des klaren Berichts des Hausarztes nicht angezeigt. C. K._, nunmehr durch einen Rechtsanwalt vertreten, lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, die Angelegenheit sei an die Vorinstanz zurückzuweisen mit der Auflage, die notwendigen Abklärungen über den Gesundheitszustand vorzunehmen. Dabei werden erstmals weitere Ärzte genannt, bei welchen K._ wegen Depressionen in Behandlung gestanden haben soll. Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung auf eine Stellungnahme.