På slutten av 1800-tallet var stedet Rørstad kommet i en bakevje. Alt stod i nedgang og forfall, med den nye skoleordningen av 1889 var det også egne lærere som tok seg av barnas utdannelse, derfor kom heller ikke disse til Rørstad. Balke søkte seg bort og ble prest i Vardø, og virket som prest i Finnmark helt til 1927.