廃城ののち元禄時代ごろまでに桃の木が植えられ、安永9年『伏見鑑』が発行された頃から「桃山」と呼ばれるようになり、織田・豊臣政権期の時代区分「安土桃山時代」や、その時代に花開いた「桃山文化」などの呼称の元となった。