Kariya adalah sebuah bandar istana ketika Zaman Sengoku, di kawasan yang dipertandingkan antara klan Imagawa, klan Oda dan pelbagai panglima perang tempatan, termasuk klan Mizuno dan klan Matsudaira. Datuk kandung Tokugawa Ieyasu, Mizuno Tadamasa membina Istana Kariya pada pertengahan abad ke-16. Klan Mizuno beralih kesetiaan daripada klan Imagawa kepada Oda Nobunaga dan kepada Toyotomi Hideyoshi, yang kemudiannya memindahkan klan ke Wilayah Ise. Walau bagaimanapun, Mizuno Katsunari, cucu Tadamasa dibenarkan pulang ke wilayah nenek moyangnya oleh Ieyasu selepas Pertempuran Sekigahara sebagai "daimyō" dari Kariya Domain, sebuah puak feudal di bawah shogun Tokugawa. Domain ini telah dipecahkan kepada banyak puak semasa Zaman Edo, tetapi kekal sebagai klan Doi dari 1734 hingga Pemulihan Meiji.