Jabarkan 2002-2004: Transisi musikal dari Fly to the Sky

Pada bulan April 2002, album ketiga mereka Sea of Love dirilis sedangkan Joo berada di New Jersey menghadiri Universitas Rutgers. Akibatnya, Hwang tampil sendiri sampai Joo kembali ke Korea. Singel andalan pertama dari album ini adalah judul track, sebuah balada pop, dan menjadi hits musim panas. Singel kedua mereka "Conditions of My Heart" ditulis oleh penyanyi Amerika Brian McKnight. Berbeda dengan singel pertama, "Condition of My Heart" adalah lagu balada yang lebih berat. Singel ini menandai transisi musik duo dari musik bubblegum pop ke musik R&B. Seiring dengan perubahan musik mereka, citra mereka mulai berubah sebagai duo diperdagangkan di mereka "bishōnen" mencari citra yang lebih maskulin. Pada tahun yang sama, label merilis duo perempuan yang dikatakan oleh fans Fly to the Sky dikenal sebagai Isak N Jiyeon, namun kedua kelompok tidak pernah bekerja secara independen satu sama lain.

Pada tahun 2003, album studio mereka yang berjudul Missing You menampilkan lagu-lagu berirama bubblegum pop dan menekankan kemampuan vokal mereka untuk memperkuat citra mereka sebagai musisi yang matang. Dengan prestasi penampilan yang baik, album ini berhasil menyumbangkan dua penghargaan bagi sang duo, termasuk penghargaan "Bonsang" dari SBS Gayo Daejun dan Korea Music Awards. Periode ini disambut oleh kematian manajer mereka, yang juga manajer BoA. Pada acara varietas, kedua anggota mengungkapkan kejadian ini sebagai saat-saat yang sangat emosional dan sulit bagi mereka, terutama Hwanhee yang berada di kendaraan yang sama dengan manajernya hanya beberapa jam sebelum kejadian.

Pada November 2004, duo ini merilis album studio kelima dan terakhir mereka di bawah label SM Entertainment, Gravity. Album ini kurang promosi, dan akibatnya menjadi album studio dengan penjualan terendah di antara album yang lain, hanya terjual tidak lebih dari 90.000 kopi. Meskipun demikian, mereka tetap sukses menggelar konser resmi pertama mereka di Jamsil Arena pada tanggal 21 Desember 2004 dan menerima penghargaan sebagai "Best R&B Artist" dari SBS Gayo Daejun. Sebuah kontroversi berkembang dari para kritikus yang mempertanyakan kelayakan mereka untuk penghargaan, karena album ini dirilis hanya dua bulan sebelum acara. Mereka mempertanyakan kredibilitas dan keadilan SBS Gayo Daejun untuk semua musisi, seperti halnya masalah musisi-musisi yang diboikot oleh SBS misalnya YG Family atau mereka yang tidak hadir tidak akan menerima penghargaan. Kritikus mencemooh acara itu sebagai "pesta untuk mereka yang hadir.."

Peluncuran album mereka yang berjudul Eternity pada tahun 2005 adalah bertepatan dengan diluncurkannya lagu mereka yang dijadikan soundtrack dari sebuah drama Korea berjudul Fashion 70's. Sebuah acara di Korea yang populer saat itu menjadikan lagu mereka yang berjudul "가슴 아파도" ("Althought My Heart Aches") sebagai lagu tema, tanpa diduga menjadi lagu yang cukup digemari. Eternity adalah album terakhir Fly to the Sky yang dirilis di bawah label SM Entertainment.

2004-2006: Meninggalkan SM Entertainment dan Karier Solo

Setelah kontrak Fly to the Sky dengan SM Entertainment berakhir pada bulan November 2004, duo ini menandatangani kontrak dengan PFull Entertainment. Duo ini menyatakan bahwa mereka ingin berada di dalam sebuah label kecil yang bersedia mempromosikan mereka sebagai musisi tanpa mengutamakan kesuksesan secara komersial. Di bawah label ini, Fly to the Sky merilis album studio keenam mereka Transition setelah absen selama setahun pada bulan Januari 2006. Album ini sukses menjual lebih dari 160.000 kopi.

Duo ini memulai tur nasional pertama mereka, "Fly To The Sky: 2006 Tour Twice". Mulai dari Arena Jamsil di Seoul bulan Mei 2006, mereka mengadakan konser di Busan, Daegu, Junju, dan Kwangju. Termasuk jumlah penonton di konser ulangan di Seoul, jumlah keseluruhan penonton dalam tur mereka mencapai 50.000 orang.

Untuk memperingati keberhasilan Transition, Fly to the Sky merilis album edisi khusus, yang termasuk video musik, adegan dihapus dan lagu tambahan "Hwan Sang (Illusion)," "Hot and Cold" dan "When I Say".

Pada tahun 2004 dan 2005, masa depan tidak menentu duo setelah kontrak mereka dengan SM Entertainment menyebabkan spekulasi bahwa mereka akan bubar. Brian Joo membahas rumor publik di SBS Yah Shim Man Man, yang ditayangkan pada 10 Juli. Ia mengakui bahwa kedua mengalami kesulitan pada hari-hari awal karier mereka dan mengatakan bahwa ia telah terganggu oleh perasaan rendah diri untuk Hwanhee, karena ia mendapat perhatian lebih dan pujian darinya. Meskipun status mereka sebagai duo, ia merasa bahwa ia tidak diberi haknya atau jumlah yang sama perhatian dengan Hwanhee. Akhirnya ia menemukan ini sulit untuk menanggung, dan menyarankan kepadanya bahwa mereka mengejar jalan masing-masing. Hwanhee menanggapinya dengan marah dan materi yang meningkat menjadi perkelahian serius hampir mengarah ke pembubaran. Keduanya didamaikan segera, dan mengatakan mereka "tumbuh untuk lebih memahami satu sama lain dan menyadari bahwa mereka berdua saling membutuhkan." Setelah itu, duo memutuskan untuk mencoba untuk lebih memahami satu sama lain untuk memecahkan masalah mereka bersama-sama dan saling mendukung. Setelah merenungkan kejadian ini, mata Joo dipenuhi air mata.

Sejak tahun 2006, duo ini telah terlihat sering di acara varietas dan mengejar karier individu. Hwanhee muncul di drama televisi Korea "Over the Rainbow" selama musim panas tahun 2006, dan Joo merilis album solonya The Brian pada bulan Desember 2006. Ketika mereka muncul lebih sering pada non-musik program, duo melihat peningkatan popularitas mereka dan reaksi dari para kritikus pada saat yang sama karena mereka merasa duo itu mengorbankan citra mereka sebagai seniman.

2007-2009: Kembali menonjol dan proyek solo

Album ketujuh duo, No Limitations dirilis pada tanggal 4 Juli 2007. Penampilan ertama televisi mereka untuk mempromosikan album ini pada 29 Juni 2007. Track dari album ini yang populer, "Oneuldo Eebbeungul," ("오늘도 이쁜걸" Pretty Today Too) "Geuraedo Sarangipnida," ("그래도 사랑입니다" It's still love) and "Gee-uk Han Joom" ("기억 한 줌" Grain of Memory), dikenal juga dengan judul "My Angel" memuncak di #1 di berbagai chart musik online maupun offline.

No Limitations menjadi album duo pertama satu. Decennium (2009) menjadi album terakhir kelompok, dengan duo yang menyatakan bahwa mereka tidak akan memperbaharui kontrak mereka dan akan berpisah secara profesional. Pada 2009, Hwanhee dan Brian telah merilis album solo pertama masing-masing dan kedua. Hwanhee juga berpartisipasi dalam produksi singel solo "Yesterday" Song Ji Eun dan juga fitur di judul lagu.