ในปี 1639 ชาวโปรตุเกสกลุ่มสุดท้ายก็ถูกขับไล่ออกจากญี่ปุ่นไป แต่นั้นก็ทำให้เดจิมะเริ่มที่จะล้มเหลวในการลงทุน และเมื่อไม่มีเรือโปรตุเกสที่ทำการค้าจากมาเก๊า เศรษฐกิจของนะงะซะกิได้รับความเดือดร้อนอย่างมาก ถึงพวกเขาก็ยังสามารถอดทนได้ แต่ด้วยนโยบายอีกมากมายและยังเป็นศัตรูกับสเปนและโปรตุเกส ซึ่งทั้งสองประเทศก็ที่มีทั้งศาสนาและพื้นฐานทางการเมืองที่ต่างจากญี่ปุ่นมาก ชาวดัทต์เป็นคนกลุ่มเดียวที่ได้รับการยกเว้นจากการถูกขับไล่ แต่พวกเขาก็ถูกรัฐบาลญี่ปุ่นย้ายให้ไปอยู่ที่เดจิมะ