Karmija byla založena v roce 1950. Novověké židovské osidlování tohoto regionu začalo po válce za nezávislost tedy po roce 1948, kdy oblast ovládla izraelská armáda. Kibuc Karmija byl třetí a poslední židovskou vesnicí zřízenou nedaleko severního okraje pásma Gazy. Zakladateli osady byla skupina členů polovojenských jednotek Nachal napojených na mládežnické sionistické hnutí ha-Šomer ha-Ca'ir. Skupina sestávala z Židů z Francie a Tuniska. Do vesnice se přistěhovalo 54 židovských rodin evakuovaných v rámci plánu jednostranného stažení roku 2005 z osad Elej Sinaj a Nisanit z pásma Gazy.