Sachverhalt: A. X._ zwang im Sommer 2000 in St. Gallen die drogensüchtige A._, vor ihm nackt eine Zigarette zu rauchen. Mit B._, die der Drogenprostitution nachging und mit der er Oralverkehr mit Kondom für Fr. 100.-- abgemacht hatte, verkehrte er im Herbst desselben Jahres abmachungswidrig während über einer Stunde abwechslungsweise vaginal und anal. Dabei fügte er ihr nicht nur durch das gewaltsame Eindringen, sondern auch durch Zerren, Schlagen und Kneifen Schmerzen zu. B. Mit Urteil des Kreisgerichts St. Gallen vom 14. Oktober 2003 wurde X._ der Vergewaltigung und der sexuellen Nötigung schuldig erklärt und zu einer Zuchthausstrafe von drei Jahren verurteilt. Er wurde verpflichtet, B._ Fr. 12'000.-- und A._ Fr. 7'000.-- als Genugtuung zu bezahlen. Dagegen erhob X._ am 17. Dezember 2003 Berufung ans Kantonsgericht St. Gallen mit den Anträgen auf vollumfänglichen Freispruch und Abweisung der Genugtuungsforderungen. Die Staatsanwaltschaft des Kantons St. Gallen beantragte die Abweisung der Berufung. Mit Schreiben vom 31. März 2004 wies der kantonsgerichtliche Referent die Verteidigung unter dem Vorbehalt der noch durchzuführenden Berufungsverhandlung darauf hin, dass die Überlegungen des Kreisgerichts zur Beweisfrage nachvollziehbar seien. Weiter legte der Referent dar, dass ein Geständnis des Angeklagten, verbunden mit erklärter Reue, in jedem Verfahrensstadium zu einer Strafminderung führe. Strafmindernd würde es sich zudem auswirken, wenn der Angeklagte vor der Gerichtsverhandlung die erstinstanzlich festgesetzten Genugtuungen bezahlen oder sicherstellen würde. Ebenfalls unter Vorbehalt der Berufungsverhandlung und des persönlichen Eindrucks vom Angeklagten wäre die Strafzumessung beim Vorliegen eines Strafmilderungs- und eines Strafminderungsgrundes neu vorzunehmen, wobei eine den bedingten Strafvollzug noch zulassende Freiheitsstrafe ebenfalls in die Prüfung einzubeziehen wäre. Am 21. Mai 2004 reichte X._ dem Gericht eine schriftliche Erklärung ein, worin er zugab, die ihm vorgeworfenen Handlungen zum Nachteil der beiden Opfer begangen zu haben. Er bat um eine im Vergleich zum erstinstanzlichen Urteil mildere Bestrafung. Mit Eingabe vom 24. Mai 2004 verlangte die Staatsanwaltschaft, die über das Schreiben des Referenten vom 31. März 2004 nicht informiert worden war, dass das Geständnis nach einer ausführlichen persönlichen Befragung von X._ vor Gericht kritisch zu prüfen sei. Am 28. Mai 2004 zahlte X._ zugunsten der beiden Opfer insgesamt Fr. 19'000.-- auf das Konto des Kantonsgerichts ein. Das Kantonsgericht St. Gallen erklärte X._ mit Urteil vom 2. Juni 2004 der Vergewaltigung und der sexuellen Nötigung schuldig und verurteilte ihn zu einer Gefängnisstrafe von 18 Monaten. Der Vollzug der Strafe wurde aufgeschoben mit einer Probezeit von zwei Jahren. Die Zivilklagen wurden als gegenstandslos abgeschrieben. C. Die Staatsanwaltschaft des Kantons St. Gallen wendet sich mit Nichtigkeitsbeschwerde ans Bundesgericht und beantragt, das angefochtene Urteil vom 2. Juni 2004 sei teilweise aufzuheben. Die Sache sei an die Vorinstanz zurückzuweisen zur angemessenen Bestrafung von X._ wegen Vergewaltigung und sexueller Nötigung. Die Vorinstanz und der Beschwerdegegner haben sich vernehmen lassen, ohne einen ausdrücklichen Antrag zu stellen.