ด้วยสนธิสัญญาพอร์ตสมัท ส่วนหนึ่งของเกาะทางตอนใต้ของบริเวณเส้นขนานที่ 50 องศาเหนือ ได้กลายเป็นอาณานิคมของญี่ปุ่นในปี ค.ศ. 1905 ในปี ค.ศ. 1907 จังหวัดคาราฟูโตะได้ถูกก่อตั้งขึ้น ซึ่งเมืองหลวงที่โอโตมาริ (大泊, ปัจจุบัน โครซาคอฟ) ในปี ค.ศ. 1905 และต่อมาเป็นโตโยฮาระ (豊原, ปัจจุบัน ยุจโน-ซาฮาลินสค์) ในปี ค.ศ. 1907 ในปี ค.ศ. 1945 ด้วยความพ่ายแพ้ของญี่ปุ่นในสงครามโลกครั้งที่สอง คาราฟูโตะได้ถูกยึดครองโดยกองกำลังทหารโซเวียตและส่วนบริหารการปกครองของญี่ปุ่นได้ยุติบทบาทลง จังหวัดคาราฟูโตะได้ถูกยกเลิกอย่างเป็นทางการด้วยกฎหมายนิติบุคคล เมื่อวันที่ 1 มิถุนายน ค.ศ. 1949 ตั้งแต่ปี ค.ศ. 1951 ส่วนทางตอนใต้ของซาฮาลินได้กลายเป็นส่วนหนึ่งของมณฑลซาฮาลินในสหภาพโซเวียต (ปัจจุบันคือรัสเซีย)