Το 1501, η μητέρα του Σοτζουμάρου πέθανε, και το 1506 απεβίωσε και ο πατέρας του εξαιτίας δηλητηρίασης από την υπερβολική κατανάλωση αλκοόλ. Ο Σοτζουμάρου έμεινε στο Κάστρο Τατζίχι-Σαρουγκάκε, αλλά ο ακόλουθός του (βασάλος) Ινούε Μοτομόρι, καταχράστηκε γη που ανήκε στον πρώτο και τον εκδίωξε από το κάστρο. Εξαιτίας της ακόλουθης ένδειάς του, αλλά και της καταγωγής του από τόσο ισχυρή οικογένεια, ονομάστηκε ""Ο Πρίγκιπας-Ζητιάνος"" από τον απλό κόσμο. Ο νεαρός Σοτζουμάρου ανατράφηκε από μια γυναίκα με το όνομα Σούγκι νο Ο-Οκάτα, η οποία άσκησε μεγάλη επιρροή στο χαρακτήρα του. Δίπλα της απέκτησε τη συνήθεια να αντικρίζει τον ήλιο κάθε πρωί απαγγέλοντας μια βουδιστική προσευχή.