国家元首称做天皇，故太上皇在日本称为太上天皇，同样也简称为「上皇」（亦称「院」或「上院」）；出家为僧的上皇则称太上法皇，简称“法皇”。日本历史上许多太上天皇是出现在「院政」时期，院政是一种君主直接掌权的方式，假意禅让于储君，自己退休离开朝廷，实际上摆脱日本政治中摄关公卿的控制。在该制度下，政治实权是握于太上天皇而非天皇之手。日本自最早的持统天皇让位予文武天皇而称太上天皇起（皇极天皇让位予其弟孝德天皇，虽然早于持统天皇，但当时皇极天皇并无「太上天皇」的称号。又后来皇极天皇一度复位称齐明天皇），至江户时代后