I 794 fikk tempelet besøk av keiser Kanmu, og i 797 ble Saicho munk ved hoffet. Det finnes ingen sikre killder om når Saicho forlit Hiei, men én teori mener at det skjedde da han ble gitt en plass ved hoffet. Katsuno Ryuushin mener imidlertid at han ikke kom ned fra fjellet før i 802. Om førstnevnte teori stemmer, var Saicho på fjellet i tolv år.