地设立公立医院以作为各地区医疗发展的重要据点，因此总督府首先在1895年设置台北病院后，隔年陆续在各地成立十一所府立医院，并包含台东医院的前身台东诊疗所，院址位于卑南街上。1898年二度迁址到中山路上，更名为台湾总督府立台东医院。台湾首位原住民西医南志信曾于该时期的台东医院任职长达20年之久。
战后至今.台湾战后初期国民政府接收台湾后将原隶属于台湾总督府的台东医院改隶属于台湾省政府旗下。1964年迁移至台东市五权街上的现址，并兴建4层楼之医疗大楼（目前为门诊部大楼）。2003年1