亚观音为16世纪末至20世纪初日本天主教徒特有，直到1873年（明治6年）日本废除禁止信仰天主教的政令之后，这种文化逐渐消失。
起源.1587年7月24日（天正15年6月19日），丰臣秀吉发佈伴天连追放令，下令驱逐在日本的外国传教士。此后在江户时代，德川将军又多次颁佈禁教令，强迫日本的天主教徒（当时被称为「吉利支丹」）放弃其信仰。有一部分天主教徒迫于压力放弃了信仰（）；但另一部分人称为潜伏吉利支丹的，则表面上放弃信仰改信佛教，暗地里仍在信仰天主教。这些潜伏吉利支丹，将佛教中的观