Ben Khalifa występował lub występuje w młodzieżowych reprezentacjach Szwajcarii od U-15 do U-18. Brał udział w Mistrzostwach Europy U-17 w 2008 roku w Turcji i w 2009 roku w Niemczech oraz w Mistrzostwach Świata U-17 w 2009 roku w Nigerii. Na tym ostatnim turnieju otrzymał „Srebrną Piłkę” dla drugiego najlepszego gracza turnieju.