Sachverhalt: A. Die Anklage wirft X._ verschiedene Delikte zum Nachteil seiner Ehefrau und ihres Freundes B._ vor. Es handelt sich im Wesentlichen um Vergewaltigung, einfache Körperverletzung, Tätlichkeiten, Drohung und Nötigung. B. Das Regionalgericht Emmental-Oberargau verurteilte X._ am 21. Dezember 2012 u.a. wegen Vergewaltigung, einfacher Körperverletzung, Nötigung und Drohung zu einer Freiheitsstrafe von 30 Monaten. Den Vollzug der Strafe schob es zu Gunsten einer stationären therapeutischen Massnahme auf. Auf Berufung von X._ stellte das Obergericht des Kantons Bern am 30. Mai 2013 die Rechtskraft des erstinstanzlichen Urteils fest, soweit es nicht angefochten worden war. Es sprach X._ erneut wegen Vergewaltigung schuldig. Die Freiheitsstrafe setzte es auf 21 Monate fest. Den Strafvollzug schob es zu Gunsten einer stationären therapeutischen Massnahme auf. C. Mit Beschwerde in Strafsachen beantragt X._, das Urteil des Obergerichts des Kantons Bern sei mit Ausnahme von Ziffer I des Dispositivs (Rechtskraftfeststellung) aufzuheben. Er sei vom Vorwurf der Vergewaltigung freizusprechen. Auf die Anordnung einer stationären therapeutischen Massnahme sei zu verzichten. Eventuell sei die Sache zur neuen Entscheidung an die Vorinstanz zurückzuweisen. Er sei unverzüglich aus der Haft zu entlassen. Die Verfahrenskosten seien dem Staat aufzuerlegen. Ihm sei für die Verteidigungskosten und die durch das Verfahren erlittenen Nachteile eine angemessene Entschädigung auszurichten. X._ ersucht zudem um unentgeltliche Rechtspflege und Verbeiständung. D. Das Obergericht des Kantons Bern und die Generalstaatsanwaltschaft des Kantons Bern haben auf eine Stellungnahme zur Beschwerde, beschränkt auf den Massnahmenpunkt, verzichtet.