स्वराज द्वीप के कई निवासी सन् १९७१ के बांग्लादेश स्वाधीनता युद्ध के दौरान आये शरणार्थी और उनके वंशज हैं, जिन्हें भारत सरकार ने यहाँ बसाया था। इस द्वीप पर पाँच गाँव हैं: गोविन्दा नगर, विजय नगर, श्याम नगर, कृष्ण नगर और राधा नगर। भारत सरकार ने यहाँ पर्यावर्णीय पर्यटन विकसित करने का निर्णय लिया और अब यहाँ के तट विश्वप्रसिद्ध हो चुके हैं। टाइम (अंग्रेज़ी पत्रिका) ने २००४ में छपे एक अंक में पश्चिमी तट के तट नम्बर ७ (जो राधा नगर तट भी कहलाता है) एशिया का सर्वोत्तम तट घोषित किया था।