Den 22-årige, som hade en låneformel på Rotherham tidigare denna säsong, har kommit överens om ett avtal med Addicks fram till sommaren 2019.
Forster-Caskey gjorde nio mål i 82 framträdanden för Seagulls efter att ha gjort sin debut i åldern 16 år 2010.
"Jake är en riktig talang som har visat sin kvalitet i mästerskapet," chefen Karl Robinson berättade klubbens webbplats.
F.d. England Under 21 internationella Forster-Caskey arbetade under 36-åriga Robinson förra säsongen under två lån på före detta klubben MK Dons.
Han är Charltons andra signering av transferfönstret i januari, och hans ankomst till The Valley kom efter yttern Ademola Lookman lämnade Addicks för att gå Premier League sida Everton i en £11m affär.
Under tiden har Brighton under 23 mittfältare Jack Harper flyttat till spanska sidan Malaga för en hemlig avgift.
Hitta alla de senaste fotbollsöverföringarna på vår dedikerade sida.
League Ena sidan Charlton Athletic har signerat mittfältaren Jake Forster-Caskey från Brighton för en hemlig avgift.