「小ロシア」（小ルーシ）の用語は、14世紀のギリシャの聖職者によって作り出されたとされる。13世紀半ばにキエフ大公国（ルーシ）がモンゴル帝国に滅ぼされ、その大公国の後継者としてハールィチ・ヴォルィーニ大公国（南西ルーシ）とウラジーミル・スーズダリ大公国（北東ルーシ）が誕生すると、コンスタンディヌーポリ総主教庁に属した従来のキエフ府主教区を分割するための前提が成立した。ギリシャの聖職者は、2つの大公国を区分する必要性があったため、古代ギリシャの「小ヘラス」と「大ヘラス」の地域的区分を応用し、南西ルーシを「小ロシア」、北東ルーシを「大ロシア」と呼んだ。