В 1890 году Татэки был удостоен титула виконт. Он стал депутатом Палаты пэров японского парламента и с тех пор неоднократно переизбирался на эту должность. Татэки постоянно находился в оппозиции к центральной власти, выступал против увеличения налогов, требовал от правительства вести сбалансированную финансовую политику и придерживаться политики военного нейтралитета. Также бывший министр осуждал начало японо-китайской войны 1894—1895 годов и русско-японской войны 1904—1905 годов, которые считал растранжириванием человеческих, финансовых и промышленных ресурсов страны.