Sachverhalt: A. Mit Verfügung vom 27. Mai 2003 und Einspracheentscheid vom 4. August 2003 sprach die IV-Stelle des Kantons Aargau der 1957 geborenen E._ unter Zugrundelegung eines Invaliditätsgrades von 44 % ab 1. Dezember 2002 eine ordentliche Viertelsrente der Invalidenversicherung nebst einer entsprechenden Zusatzrente für den Ehegatten sowie vier Viertels-Kinderrenten zu. Während sich die Hauptrente auf Fr. 416.- (ab 1. Januar 2003: Fr. 427.-) und die Zusatzrente für den Ehemann auf Fr. 125.- (ab 1. Januar 2003: Fr. 128.-) pro Monat beliefen, betrugen die wegen Überversicherung gekürzten Kinderrenten monatlich je Fr. 107.- (ab 1. Januar 2003: Fr. 110.-). Berechnungsgrundlage bildeten ein massgebendes durchschnittliches Jahreseinkommen von Fr. 44'496.- (Wert 2002) bzw. Fr. 45'576.- (Wert 2003/04) sowie die Vollrentenskala 44. B. Das Versicherungsgericht des Kantons Aargau hiess die gegen den Einspracheentscheid erhobene Beschwerde mit Entscheid vom 10. März 2004 teilweise gut und sprach E._ für den Monat Dezember 2002 vier gekürzte Viertels-Kinderrenten in der Höhe von je Fr. 108.- (anstatt Fr. 107.-) zu. Im Übrigen wies das kantonale Gericht die Beschwerde ab. C. E._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag auf Zusprechung ungekürzter (Viertels-)Kinderrenten. Während die IV-Stelle auf eine Vernehmlassung zur Verwaltungsgerichtsbeschwerde verzichtet, schliesst das Bundesamt für Sozialversicherung (BSV) auf deren Abweisung.