Det er tradisjonelt antatt at klosteret ble grunnlagt av eremitten Ivan fra Rila, eller Ivan Rilski som Bulgarias nasjonalhelgen også kalles. Det skal ha skjedd i tiden under tsar Peter I av Bulgaria (927-968). Eremitten skal ha bodd i en grotte uten noen materielle eiendeler ikke langt fra klosterets lokalisering. Klosteret skal ha blitt bygd av hans elever eller disipler som kom til fjellene for å lære av ham.