Кастро — одне із найдревніших європейських поселень на території Чилі, було засновано 12 лютого 1567 року. Острів Чилое був одним із небагатьох земель, відвойованих у мапуче, а Кастро був центром острова. З 1768 року головним центром острова стає Анкуд. Але 22 травня 1960 року Великий чилійський землетрус практично повністю знищив Анкуд. Кастро, хоч і постраждало серйозно, було зруйновано менше. З 1982 року місто офіційно стає адміністративним центром провінції Чилое.