W 1627 Iemitsu Tokugawa zbudował pierwszy chram na wzgórzu Ueno ku czci swego przodka. W 1651 wzniesiono kolejny, do dzisiaj zachowany budynek chramu. W 1866 spłonęła jedna brama i część korytarzy. Trzęsienie ziemi w Kantō (1923) i II wojna światowa, mimo ogromnych zniszczeń w samym Tokio, nie spowodowały prawie żadnych szkód w chramie.