Lors des attentats islamistes de 1995 en France, il est interdit de séjour sur le territoire français, en raison de sa proximité avec les Frères musulmans. Le ministre de l'Intérieur de l’époque, Jean-Louis Debré, déclare "a posteriori" que le Gouvernement avait , alors que le Centre islamique de Genève, point d'ancrage de la famille Ramadan, est suspecté de servir de plaque tournante au Front islamique du salut (FIS) et du Groupe islamique armé (GIA). Il est alors soutenu par le Collectif des musulmans de France. L'interdiction est levée quelques années plus tard.