В составе сборной Алжира Зиани дебютировал в 2003 году, сыграв в товарищеском матче с командой Бельгии. В 2004 году Карим принял участие в Кубке африканских наций. Алжир дошёл до четвертьфинала, а Зиани был признан лучшим игроком чемпионата на своей позиции. Свой первый гол за сборную полузащитник забил в квалификационном матче к Кубку африканских наций 2008, реализовав пенальти, назначенный в ворота Гамбии. Ещё 3 мяча Карим забил в квалификации к чемпионату мира 2010 (дубль в ворота сборной Либерии и мяч Руанде). Принял участие Зиани и в успешном для Алжира Кубке африканских наций 2010, по итогам которого алжирцы дошли до полуфинала. Принимал участие в чемпионат мира 2010 года, где сыграл во всех трёх матчах