Στις 28 Ιουλίου του 1912 τοποθετήθηκε στη Μητρόπολη Πελαγονίας, με έδρα το Μοναστήρι της Νοτιοσλαβίας. Εκείνη την περίοδο, έλαβαν χώρα οι Βαλκανικοί Πόλεμοι και το Μοναστήρι υπέστη τότε μεγάλους βομβαρδισμούς, που έκαμψαν το ηθικό των ιερέων της Μητρόπολης, οι οποίοι από τον φόβο τους δεν τολμούσαν να κηδέψουν τους νεκρούς των επιδρομών. Ο ιεράρχης Χρυσόστομος με τον χαρισματικό του λόγο αλλά και με το λαμπρό του παράδειγμα, ενθάρρυνε τους ιερείς του τις δύσκολες εκείνες ώρες, όταν, ενώ άλλοι έσπευδαν να κρυφτούν στα καταφύγια της πόλης, εκείνος αψηφούσε τους βομβαρδισμούς, μένοντας μαζί με τους νεκρούς.