Świątynia, której obecna nazwa oznacza dosłownie "Święta Sala Yushima", powstała w okresie Edo jako Sensei-den. Później została przeniesiona na obecne miejsce przez sioguna Tsunayoshi Tokugawę w 1690. Pod nazwą Taiseiden świątynia stała się w 1797 uczelnią państwową dla urzędników siogunatu. Ta uczelnia została zamknięta w 1871, a budynki świątyni wykorzystywały na swoje potrzeby różne instytucje państwowe. Początkowo jej budynki były w kolorze szkarłatnym, ale po kilku pożarach przemalowano ją na czarno. Trzęsienie ziemi w Kantō (1923) zniszczyło świątynię, która została odbudowana w 1935 z odpornego na wstrząsy żelbetu. W głównym budynku (Taiseiden) znajduje się 5 posągów kultowych; są to: Konfucjusz, Mencjusz, Yan Hui, Zengzi i Zisi. Świątynię otacza rozległy, naturalny park. Znajduje się tu duży posąg Konfucjusza z brązu (podobno największy na świecie), otoczony drzewami, w tym dużym okazem pistacji chińskiej, wyrosłym z sadzonki pobranej przy grobie Konfucjusza i przywiezionej z Chin w 1915. Wraz z pobliskim chramem Yushima Tenjin, Yushima Seidō jest często odwiedzana przez uczniów i studentów modlących się o sukces w egzaminach wstępnych do szkoły i uniwersytetu.