# Sur les fonctions continues relativement monotones

par
F. M. Filipczak (Łódź)

Soit $f$ une fonction réelle, continue, définie sur l'intervalle $I$. On voit aisément qu'il existe alors un ensemble non vide parfait $P \subset I$, sur lequel la fonction $f$ est monotone (non croissante ou non décroissante). L'existence de cet ensemble est évidente lorsque l'intervalle $I$ contient un sous-intervalle dans lequel la fonction $f$ est monotone. Si un tel intervalle n'existe pas, nous dirons que la fonction $f$ est nulle part monotone (sur $I$), et alors l'existence de l'ensemble $P$ résulte de la propriété de Bolzano-Darboux des fonctions continues. On arrive au même résultat en démontrant qu'un au moins ensemble de niveau $f^{-1}(y)$, où $y \in f(I)$, contient un sous-ensemble parfait. Les ensembles de niveau des fonctions continues, nulle part monotones, définies sur des intervalles ouverts et finis, ont été étudiés par Garg [1]. Il a démontré que pour ces fonctions les ensembles de niveau sont des ensembles non-denses et que l'ensemble des valeurs $y \in f(I)$, pour lesquelles les ensembles de niveau $f^{-1}(y)$ ne sont pas des ensembles parfaits, est de première catégorie dans $f(I)$. De plus, toute fonction continue, dont les ensembles de niveau ont les deux propriétés mentionnées, est nulle part monotone.

Nous dirons qu'une fonction définie sur un ensemble parfait $D$ est nulle part monotone (sur $D$), si elle n'est monotone sur aucune portion de cet ensemble, c'est-à-dire sur aucun ensemble non vide de la forme $(a, b) \cap D$. Dans la présente note je m'occupe de trois problèmes:

1) Existe-t-il pour toute fonction continue $f$, définie sur un ensemble parfait $D$, un ensemble parfait $P \subset D$ sur lequel la fonction $f$ soit monotone? Ce problème a été formulé et posé par K. Krzyżewski. Je vais montrer que la réponse est affirmative (théorème 1). Signalons que le même résultat a été obtenu indépendamment par T. Świątkowski.

2) Les ensembles de niveau des fonctions continues nulle part monotones, définies sur des ensembles parfaits, jouissent — ils nécessairement des propriétés établies par Garg pour les fonctions définies sur des intervalles† Je vais montrer que la réponse est négative, en donnant un exemple de fonction continue, nulle part monotone, définie sur l'ensemble
de Cantor et telle que ses ensembles de niveau sont des ensembles contenant un point (théorème 3).

3) La réponse à la question 2) étant négative, il est naturel de chercher les conditions nécessaires et suffisantes pour qu'une fonction continue, définie sur un ensemble parfait, soit nulle part monotone sur celui-ci. J'établis de telles conditions dans le théorème 2.

**Notations.** Soit $f$ une fonction réelle, finie, définie sur un ensemble parfait $D$ et désignons par $K$ l'ensemble de tous les points d'accumulation à gauche et à droite de l'ensemble $D$, par $E_f$ l'ensemble des points où la fonction $f$ admet des extréma faibles locaux et par $O_f$ l'ensemble des points $x$ de l'ensemble $D$ tels que pour tout nombre $\varepsilon > 0$ il existe des points $t$ et $z$ de l'ensemble $D \cap (x-\varepsilon, x+\varepsilon)$ satisfaisant aux inégalités $(t-x)(z-x) > 0$ et $f(t) < f(x) < f(z)$. Désignons enfin par $M_f$ (resp. $\tilde{W}_f$) l'ensemble des points $x \in D$ pour lesquels il existe des nombres positifs $\delta_x$ tels que pour tout $t \in D \cap (x-\delta_x, x+\delta_x)$ on a l'inégalité $[f(t)-f(x)] \times (t-x) \le 0$ (resp. $[f(t)-f(x)](t-x) \ge 0$).

**LEMME 1.** Si les nombres réels $x_i, y_i$ ($i=1, 2, 3$) satisfont aux inégalités

$$ \text{on a} \qquad \begin{array}{l} |x_2 - x_1| < |x_3 - x_1| \quad \text{et} \quad |y_2 - y_1| < |y_3 - y_1|, \\ \operatorname{sgn}[(x_3 - x_2)(y_3 - y_2)] = \operatorname{sgn}[(x_3 - x_1)(y_3 - y_1)]. \end{array} $$

Démonstration. $\operatorname{sgn}(x_3 - x_2) = \operatorname{sgn}(x_3 - x_1 + x_1 - x_2) = \operatorname{sgn}(x_3 - x_1)$ puisque $|x_1 - x_2| < |x_3 - x_1|$. Pour la même raison $\operatorname{sgn}(y_3 - y_2) = \operatorname{sgn}(y_3 - y_1)$. Ces égalités donnent, par un calcul évident,

$$ \operatorname{sgn}[(x_3 - x_1)(y_3 - y_1)] = \operatorname{sgn}(x_3 - x_1)\operatorname{sgn}(y_3 - y_1) = \operatorname{sgn}(x_3 - x_2)\operatorname{sgn}(y_3 - y_2) \\ = \operatorname{sgn}[(x_3 - x_2)(y_3 - y_2)], \quad \text{c.q.f.d.} $$

**LEMME 2.** Pour toute fonction $f$ définie et continue sur un ensemble parfait $D$, les ensembles $M_f$, $W_f$ et $E_f$ sont des ensembles de la classe $F_\sigma$ de Borel.

Démonstration. Désignons par $M_n(W_n)$, $n = 1, 2, 3, ...$ l'ensemble des points $x \in M_f$ ($x \in W_f$) tels que l'inégalité $[f(t)-f(x)](t-x) \le 0$ ($[f(t)-f(x)](t-x) \ge 0$) est vérifiée pour tout $t \in D \cap (x-1/n, x+1/n)$ et par $E_n^+(E_n^-)$ l'ensemble des points $x \in E_f$ tels que

$$ f(x) \ge f(t) \quad (f(x) \le f(t)) \quad \text{pour tout} \quad t \in D \cap \left(x - \frac{1}{n}, x + \frac{1}{n}\right). $$

Evidemment on a les égalités

$$ (1) \qquad M_f = \bigcup_{n=1}^{\infty} M_n, \quad W_f = \bigcup_{n=1}^{\infty} W_n, \quad E_f = \left( \bigcup_{n=1}^{\infty} E_n^+ \right) \cup \left( \bigcup_{n=1}^{\infty} E_n^- \right). $$

Les ensembles $M_n$ et $W_n$ sont fermés. En effet, si $x_k \in M_n$ ($x_k \in W_n$) et $\lim_{k \to \infty} x_k = x$, il existe pour tout nombre $\varepsilon$, $0 < \varepsilon < 1/n$, un nombre $k_0$

tel que pour tout nombre naturel $k > k_0$ on a $|x_k - x| < \varepsilon$. Si $t \in D \cap (x-1/n+\varepsilon, x+1/n-\varepsilon)$, on a pour tout $k > k_0$ l'inégalité $[f(x_k) - f(t)] \times (x_k - t) \le 0$ ($[f(x_k) - f(t)](x_k - t) \ge 0$). En passant à la limite avec $k \to \infty$, on en tire

$$ (2) \qquad [f(x) - f(t)](x - t) \le 0 \quad ([f(x) - f(t)](x - t) \ge 0) $$

pour $t \in D \cap (x-1/n+\varepsilon, x+1/n-\varepsilon)$. Comme $\varepsilon$ est un nombre positif arbitraire, l'inégalité (2) a lieu pour $t \in D \cap (x-1/n, x+1/n)$. Le point $x \in M_n$ ($x \in W_n$). Les ensembles $M_n$ et $W_n$ sont donc fermés.

On démontre de même que les ensembles $E_n^+$ et $E_n^-$ sont fermés. En effet, si $x_k \in E_n^+$ ($x_k \in E_n^-$), alors pour tout nombre $\varepsilon$, $0 < \varepsilon < 1/n$, on a $|x_k - x| < \varepsilon$ pour $k$ suffisamment grand. Pour les mêmes indices et pour tout $t \in D \cap (x-1/n+\varepsilon, x+1/n-\varepsilon)$ on a

$$ f(x_k) \ge f(t) \quad (f(x_k) \le f(t)). $$

En passant à la limite avec $k \to \infty$, on en tire

$$ (3) \qquad f(x) \ge f(t) \quad (f(x) \le f(t)) $$

pour $t \in D \cap (x-1/n+\varepsilon, x+1/n-\varepsilon)$. Le nombre $\varepsilon > 0$ étant arbitraire, il en résulte que la condition (3) est vérifiée pour $t \in D \cap (x-1/n, x+1/n)$, donc $x \in E_n^+$ ($x \in E_n^-$). Par conséquent les ensembles $E_n^+$ et $E_n^-$ sont fermés.

Du fait que les ensembles $M_n$, $W_n$, $E_n^+$ et $E_n^-$ sont fermés et des formules (1) il résulte que les ensembles $M_f$, $W_f$ et $E_f$ sont des ensembles de la classe $F_\sigma$ de Borel, c.q.f.d.

**LEMME 3.** Pour qu'une fonction $f$ définie et continue sur un ensemble parfait $D$ ne soit constante sur aucune portion de cet ensemble, il faut et il suffit que l'ensemble $E_f$ soit de première catégorie dans $D$.

Démonstration. Admettons que la fonction $f$ ne soit constante sur aucune portion de l'ensemble $D$. Nous allons prouver que les ensembles $E_n^+$ et $E_n^-$ (v. la démonstration du lemme 2) sont non-denses dans $D$. Supposons que l'ensemble $E_n^+(E_n^-)$ soit dense dans un ensemble $D_0 = D \cap (a, b) \ne 0$, où $0 < b - a < 1/n$. L'ensemble $E_n^+(E_n^-)$, étant fermé, contient l'ensemble $D_0$. La fonction $f$ n'est pas constante sur l'ensemble $D_0$, donc il existe deux points $x$ et $z$ de cet ensemble tels que $f(x) \ne f(z)$. Comme les points $x$ et $z$ appartiennent à l'ensemble $E_n^+(E_n^-)$, il résulte de l'inégalité $|x-z| < 1/n$ que $f(x) \ge f(z)$ et $f(x) \le f(z)$ ($f(x) \le f(z)$ et $f(x) \ge f(z)$), d'où $f(x) = f(z)$ en contradiction avec l'inégalité $f(x) \ne f(z)$. L'ensemble $E_n^+(E_n^-)$ n'est donc dense sur aucune portion de l'ensemble $D$, il est donc non-dense dans $D$. Avec l'égalité (1) cela prouve que $E_f$ est de première catégorie dans $D$.

Admettons maintenant que l'ensemble $E_f$ soit de première catégorie dans $D$ et supposons qu'il existe une portion $D_0$ de l'ensemble $D$, sur laquelle la fonction $f$ est constante; alors on voit aisément que $D_0 \subset E_f$, contrairement à l'hypothèse, c.q.f.d.
### LEMME 4. Pour toute fonction $f$ définie, continue et nulle part monotone sur un ensemble parfait $D$ les ensembles $M_f$ et $W_f$ sont de première catégorie dans $D$.

Démonstration. A cause des formules (1) il suffit de prouver que les ensembles $M_n$ et $W_n$, définis dans la démonstration du lemme 2, sont non-denses dans $D$. Supposons que l'ensemble $M_n$ ($W_n$) soit dense dans une portion $D_0$ de l'ensemble $D$, contenue dans un intervalle de longueur inférieure à $1/n$. Soit $x, z \in D_0$ et $x < z$. Comme l'ensemble $M_n$ ($W_n$) est fermé, il contient l'ensemble $D_0$. Des conditions $x < z$, $|x-z| < 1/n$, $x \in M_n$ ($x \in W_n$) et de la définition de l'ensemble $M_n$ ($W_n$) il résulte que $f(x) \ge f(z)$ ($f(x) \le f(z)$). Cela signifie que la fonction $f$ est non croissante (non décroissante) sur la portion $D_0$, en contradiction avec l'hypothèse du lemme 4. Les ensembles $M_n$ et $W_n$ sont donc non-denses dans $D$, c.q.f.d.

### LEMME 5. Pour toute fonction $f$ définie, continue et nulle part monotone sur un ensemble parfait et borné $D$, les ensembles $f(M_f)$ et $f(W_f)$ sont de première catégorie dans $f(D)$.

Démonstration. Je démontrerai d'abord que sous les hypothèses du lemme 5:

(4) L'image $f(Q)$ de l'ensemble parfait $Q = D \cap \langle a, b \rangle$ est un ensemble parfait.

La fonction $f$ étant continue, l'ensemble $f(Q)$ est fermé, il suffit donc de prouver qu'il est dense en soi. Soit $y \in f(Q)$. Il existe un point $x \in Q$ tel que $f(x) = y$. Pour tout nombre $\varepsilon > 0$ on peut trouver un nombre $\delta > 0$ tel que l'image $f[D \cap (x-\delta, x+\delta)] \subset (y-\varepsilon, y+\varepsilon)$. Sur la portion $Q \cap (x-\delta, x+\delta)$ la fonction $f$ n'est pas constante, il existe donc un point $t \in Q \cap (x-\delta, x+\delta)$ satisfaisant à la condition $f(t) \ne f(x)$. Evidemment $f(t) \in (y-\varepsilon, y+\varepsilon) \cap f(Q)$. Nous avons ainsi démontré que tout point $y$ de l'ensemble $f(Q)$ est un point d'accumulation de celui-ci.

De (1) résultent les formules suivantes:

$$ (5) \quad f(M_f) = \bigcup_{n=1}^{\infty} f(M_n), \quad f(W_f) = \bigcup_{n=1}^{\infty} f(W_n), \quad f(E_f) = \bigcup_{n=1}^{\infty} [f(E_n^+) \cup f(E_n^+)]. $$

À cause des formules (5) il suffit de prouver que les ensembles $f(M_n)$ et $f(W_n)$ sont non-denses dans l'ensemble parfait $f(D)$.

L'ensemble $M_n$ est fermé et borné, donc l'ensemble $f(M_n)$ est aussi fermé. Supposons que l'ensemble $f(M_n)$ ne soit pas non-dense dans $f(D)$; il existe donc un ensemble non vide et parfait $P = \langle a, b \rangle \cap f(D) \subset f(M_n)$.

Soit $p = \min_{t \in D} t$, $q = \max_{t \in D} t$. Divisons l'intervalle $\langle p, q \rangle$ à l'aide des points $p = a_0 < a_1 < \dots < a_r = q$ de telle manière que pour tout $k = 1, 2, \dots, r$ on ait $a_k - a_{k-1} < 1/n$ et posons $I_k = \langle a_{k-1}, a_k \rangle \cap M_n$. Les

ensembles fermés $f(I_k)$ recouvrent l'ensemble $f(M_n)$, donc aussi l'ensemble parfait $P$. Il existe nécessairement un ensemble $f(I_t)$ et un ensemble parfait non vide $Q$ tel que $Q = \langle c, d \rangle \cap P = \langle c, d \rangle \cap f(D) \subset f(I_t)$. En effet, si un tel ensemble n'existait pas, les ensembles $f(I_k)$ seraient non-denses dans $P$ et l'ensemble $P = \bigcup_{k=1}^{r} [f(I_k) \cap P]$ serait de première catégorie dans $P$, en contradiction avec le théorème de Baire.

Soit $x_0$ un point de l'ensemble $(a_{l-1}, a_l) \cap D$ tel que $f(x_0) \in (c, d) \cap f(D)$. Au nombre $\varepsilon_0 = \min[f(x_0)-c, d-f(x_0)]$ on peut faire correspondre un nombre $\delta_0 > 0$ satisfaisant aux conditions $0 < \delta_0 < \min(x_0-a_{l-1}, a_l-x_0)$ et $|f(x_0)-f(t)| < \varepsilon_0$ lorsque $t \in (x_0-\delta_0, x_0+\delta_0) \cap D$.

Si le point $x \in D_0 \setminus M_f$, où $D_0 = (x_0-\delta_0, x_0+\delta_0) \cap D$, on voit aisément qu'il existe un point $z \in D_0$ tel que $[f(x)-f(z)](x-z) > 0$.

Posons $a = \min(x, z)$ et $\beta = \max(x, z)$. On a donc $a < \beta$ et $f(a) < f(\beta)$.

Supposons qu'il existe un nombre $t \in D$ tel que

$$ (6) \quad f(a) < f(t) < f(\beta). $$

Puisque $f(t) \in Q \subset f(I_t)$, il existe un point $t_0 \in I_t$ tel que $f(t_0) = f(t)$. Si $t_0 < \beta$, on a $|t_0-\beta| < 1/n$ et $|f(t_0)-f(\beta)|(t_0-\beta) > 0$; si $t_0 > a$, on a $|t_0-a| < 1/n$ et $|f(t_0)-f(a)|(t_0-a) > 0$. Dans chacun de ces cas nous aboutissons à une contradiction avec la condition $t_0 \in M_n$. Il n'est donc pas possible qu'il existe un point $t$ satisfaisant à la condition (6) et, par suite, pour tout $t \in D$ on a $f(t) \le f(a)$ ou bien $f(t) \ge f(\beta)$.

La fonction $f$ est uniformément continue sur l'ensemble $D$, on peut donc faire correspondre au nombre positif $f(\beta)-f(a)$ un nombre $\delta$, $0 < \delta < \min[a-(x_0-\delta_0), (x_0+\delta_0)-\beta]$, tel que

$$ |f(x_1)-f(x_2)| < f(\beta)-f(a) \quad \text{lorsque} \quad x_1, x_2 \in D \text{ et } |x_2-x_1| < \delta. $$

Soit $t \in D \cap (a-\delta, a+\delta)$, alors $f(t) < f(a)+f(\beta)-f(a) = f(\beta)$. Dans l'ensemble $D \cap (a-\delta, a+\delta)$ il n'existe pas de point $t$ satisfaisant à la condition (6), donc pour tout $t \in D \cap (a-\theta, a+\theta)$ on a $f(t) \le f(a)$. Cela signifie que $a \in E_f$. Pour la même raison $\beta \in E_f$, d'où, en vertu de la définition des points $\alpha$ et $\beta$, résulte que $x \in E_f$. Nous avons ainsi établi l'inclusion $D_0 \setminus M_f \subset D_0 \cap E_f$, qui entraîne la relation

$$ (7) \quad \bar{D}_0 \subset (D_0 \cap M_f) \cup (D_0 \cap E_f) \cup B, $$

où $\bar{D}_0$ désigne la fermeture de l'ensemble $D_0$, $B$ l'ensemble formé par les points $x_0-\delta_0$ et $x_0+\delta_0$.

De l'inclusion (7) il résulte que l'ensemble parfait $\bar{D}_0$ est de première catégorie dans $\bar{D}_0$, puisque, en vertu des lemmes 3 et 4, les ensembles $D_0 \cap E_f$ et $D_0 \cap M_f$ sont de première catégorie dans $\bar{D}_0$. Cette contradiction prouve que l'ensemble $f(M_n)$ est non-dense dans $f(D)$ et, par conséquent, l'ensemble $f(M_f)$ est de première catégorie dans $f(D)$.
L'ensemble $f(W_f)$ est aussi de première catégorie dans $f(D)$, puisque $W_f = M_f$, c.q.f.d.

**LEMME 6.** Si la fonction $f$ est définie, continue et nulle part monotone sur un ensemble parfait $D$, il existe pour tout point $x_0 \in H = D \setminus M_f$ et tout nombre $\delta > 0$ un point $x \in H \cap (x_0 - \delta, x_0 + \delta)$ tel que $[f(x) - f(x_0)] \times (x - x_0) > 0$.

Démonstration. Soit $\delta$ un nombre positif quelconque. De la définition de l'ensemble $M_f$ il résulte qu'au nombre $\delta/2$ on peut faire correspondre un point $y$ tel que $y \in D \cap (x_0 - \delta/2, x_0 + \delta/2)$ et

$$ (8) \qquad [f(y) - f(x_0)](y - x_0) > 0. $$

La fonction $f$ est continue au point $y$, il existe donc un nombre positif $k < |x_0 - y|$ tel que $|f(t) - f(y)| < |f(x_0) - f(y)|$ lorsque $t \in D \cap (y - k, y + k)$. Dans l'ensemble $D \cap (y - k, y + k)$ il existe un point $x \in H$, car en vertu du lemme 4 l'ensemble $H$ est dense dans $D$. Nous avons donc $|f(x) - f(y)| < |f(x_0) - f(y)|$ et $|x - y| < k$, d'où, en tenant compte de (8) et en vertu du lemme 1, nous obtenons

$$ \operatorname{sgn}\{[f(x_0) - f(x)](x_0 - x)\} = \operatorname{sgn}\{[f(y) - f(x_0)](y - x_0)\} = 1. $$

Évidemment

$$ |x - x_0| \le |x - y| + |y - x_0| < 2|y - x_0| < \theta, \quad \text{c.q.f.d.} $$

**THÉORÈME 1.** Pour toute fonction $f$ définie et continue sur un ensemble parfait $D$ il existe un ensemble parfait $P \subset D$ sur lequel la fonction $f$ est monotone.

Démonstration. Le théorème est évident lorsque la fonction $f$ est monotone sur une portion de l'ensemble $D$; on peut donc admettre que la fonction $f$ est nulle part monotone (sur $D$).

Désignons par $a$ et $b$ deux points quelconques de l'ensemble $K$ tels que $a < b$. L'ensemble $H_0 = (a, b) \cap H$ (voir le lemme 6) est dense dans l'ensemble parfait $D_0 = \langle a, b \rangle \cap D$. La fonction $f$ à valeurs finies, continue sur l'ensemble fermé et borné $D_0$, est uniformément continue sur celui-ci; une fonction $\delta = \delta(\varepsilon) > 0$ se trouve ainsi définie pour $\varepsilon > 0$, telle que les conditions $x_1, x_2 \in D_0$ et $|x_1 - x_2| < \delta(\varepsilon)$ impliquent la condition $|f(x_1) - f(x_2)| < \varepsilon$.

Soit $x_0$ un point quelconque de l'ensemble $H_0$. En vertu du lemme 6 il existe un point $x \in H_0$ tel que $[f(x) - f(x_0)](x - x_0) > 0$. Posons $a_1 = \min(x, x_0)$ et $a_2 = \max(x, x_0)$. On a donc $a < a_1 < a_2 < b$ et $f(a_1) < f(a_2)$.

Nous définirons maintenant par récurrence, pour $n = 3, 4, \dots$, les suites de nombres positifs $\varepsilon_n, \varepsilon_n, \delta_n$ et $\eta_n$ et la suite de points $a_n \in H_0$ telles que les conditions suivantes soient vérifiées:

$$ (9n) \qquad \varepsilon_n = \min_{1 \le j \ne k \le n-1} |a_j - a_k|, \qquad \varepsilon_n = \min_{1 \le j \ne k \le n-1} |f(a_j) - f(a_k)|, \qquad \delta_n = \delta(\varepsilon_n), \\ \eta_n = \min(\varepsilon_n, \delta_n); $$

$$ (10n) \qquad [f(a_m) - f(a_n)](a_m - a_n) > 0 \quad \text{et} \quad |a_m - a_n| < \eta_n, $$

les nombres naturels $r$ et $m$ satisfaisant aux conditions $n = 2^r + m$ et $1 \le m \le 2^r$.

Les nombres $\varepsilon_3, \varepsilon_3, \delta_3$ et $\eta_3$ sont positifs, puisque $\varepsilon_3 = a_2 - a_1$, $\varepsilon_3 = f(a_2) - f(a_1)$.

Au point $a_1 \in H$ et au nombre $\delta = \min(a_1 - a, b - a_1, \eta_3)$ on peut faire correspondre, en vertu du lemme 6, un point $a_3 \in H$ tel que

$$ |a_1 - a_3| < \delta \quad \text{et} \quad [f(a_1) - f(a_3)](a_1 - a_3) > 0. $$

Le point ainsi défini $a_3 \in H_0$ et remplit les conditions (10).

Supposons que pour $n > 2$ on ait défini les nombres positifs $\varepsilon_n, \varepsilon_n, \delta_n, \eta_n$ et le point $a_n \in H_0$ tels que les conditions (9n) et (10n) soient remplies. Des inégalités $\varepsilon_n > 0$, $\varepsilon_n > 0$ et des relations (9n) et (10n) il résulte que $a_j \ne a_k$ et $f(a_j) \ne f(a_k)$ pour $j \ne k$ et $1 \le j, k \le n$. Les nombres $\varepsilon_{n+1}, \varepsilon_{n+1}, \delta_{n+1}$ et $\eta_{n+1}$ sont donc positifs.

Soit $n+1 = 2^p + q$, les nombres naturels $p$ et $q$ étant tels que $1 \le q \le 2^p$. Le point $a_q \in H_0$. En admettant, dans le lemme 6, $\delta = \min(a_q - a, b - a_q, \eta_{n+1})$, on conclut qu'il existe un point $a_{n+1} \in H$ tel que $[f(a_q) - f(a_{n+1})](a_q - a_{n+1}) > 0$ et $|a_q - a_{n+1}| < \min(a_q - a, b - a_q, \eta_{n+1})$.

Les conditions (10$_{n+1}$) sont évidemment remplies. En outre $a_{n+1} \in (a, b)$, et, comme $a_{n+1}$ est un point de l'ensemble $H$, il appartient aussi à l'ensemble $H_0$.

Nous allons maintenant prouver que les points $a_n$ ainsi définis ont les propriétés suivantes:

$$ (11) \qquad [f(a_k) - f(a_n)](a_k - a_n) > 0 \quad \text{pour } k \ne n. $$

$$ (12) \qquad \text{L'ensemble } \mathcal{A} \text{ composé des points } a_1, a_2, \dots \text{ est dense en soi.} $$

L'inégalité (11) sera établie par récurrence. Pour les indices $k$ et $m$ inférieurs à 3 elle est évidemment vraie, on peut donc supposer qu'elle a lieu pour les indices $k$ et $m$ inférieurs à $n$ ($n > 2$).

$$ \text{Soit } n = 2^r + m, \text{ où } 1 \le m \le 2^r; \text{ on a donc } (10n) \text{ et} $$

$$ (13) \qquad [f(a_m) - f(a_k)](a_m - a_k) > 0 \quad \text{lorsque } m \ne k, \text{ puisque } m, k < n. $$

Si $k = m$, l'inégalité (11) résulte de (10n), car elle est équivalente à la première des inégalités (10n); si $k \ne m$, elle découle du lemme 1 et des inégalités (10n) et (13).
L'ensemble $\mathcal{A}$ est dense en soi, car on a, pour tout $n$,

$$0 < |a_n - a_{2r+n}| < \delta_{2r+n} \le \frac{b-a}{2^r + n - 1}$$

et cette dernière expression tend vers zéro si $r \to \infty$.

Soit $P = \bar{A}$. L'ensemble $P$ ainsi défini est parfait et constitue une partie de l'ensemble $D$. Nous allons montrer que les conditions $\omega, y \in P$ et $x < y$ impliquent l'inégalité $f(\omega) \le f(y)$. De la définition de l'ensemble $P$ il résulte que

$$x = \lim_{k \to \infty} a_{nk}, \quad y = \lim_{k \to \infty} a_{mk}.$$

Comme $x < y$, ou a pour les indices $k$ suffisamment grands l'inégalité $a_{nk} < a_{mk}$. En vertu de (13) nous en tirons $f(a_{nk}) < f(a_{mk})$. Passant à la limite dans cette inégalité lorsque $k \to \infty$, on obtient finalement à cause de la continuité de la fonction $f$, l'inégalité $f(\omega) \le f(y)$, c.q.f.d.

Remarque 1. En introduisant la fonction $g$, définie par la formule

$$g(\omega) = \begin{cases} -1, & \text{lorsque } f(\omega) = -\infty, \\ \frac{f(\omega)}{1 + |f(\omega)|}, & \text{lorsque } |f(\omega)| < \infty, \\ 1, & \text{lorsque } f(\omega) = +\infty, \end{cases}$$

on peut démontrer que le théorème 1 reste vrai aussi dans le cas où la fonction $f$ admet des valeurs infinies.

Remarque 2. Le théorème 1 peut être démontré sans en appeler aux lemmes 2 et 4. On peut, en effet, admettre que la fonction $f$ est nulle part monotone sur l'ensemble $D$ et considérer les cas suivants:

1. L'ensemble $H$ est dense dans $D$.

2. L'ensemble $H$ n'est pas dense dans $D$.

Si l'ensemble $H$ est dense dans $D$, le lemme 6 peut être démontré sans profiter du lemme 4, et alors les considérations relatives à ce cas sont identiques à la démonstration, donnée plus haut, du théorème 1.

Si l'ensemble $H$ n'est pas dense dans $D$, l'ensemble $M_f$ contient une portion $D_0$ de l'ensemble $D$. Comme la fonction $f$ n'est constante sur aucune portion de l'ensemble $D$, on prouve aisément, en s'appuyant sur la définition de l'ensemble $M_f$, que pour tout point $\omega_0 \in D_0$ et tout nombre $\delta > 0$ il existe un point $\omega \in D_0 \subset M_f$ satisfaisant aux conditions

$$|\omega - \omega_0| < \delta \quad \text{et} \quad [f(\omega) - f(\omega_0)](\omega - \omega_0) < 0.$$

En appliquant cette dernière inégalité au lieu de l'inégalité correspondante du lemme 6, on peut construire dans la démonstration du théorème 1 (pour le cas 2°) un ensemble parfait $P \subset D$ sur lequel la fonction $f$ est non croissante.

**THÉORÈME 1.** Si la fonction $f$ est définie, continue et nulle part monotone sur un ensemble parfait $D$, il existe deux ensembles parfaits non vides $P_1$ et $P_2$, contenus dans $D$, sur lesquels la fonction $f$ est respectivement croissante ou décroissante.

**Démonstration.** Désignons par $K(X)$ l'ensemble de tous les points d'accumulation à gauche et à droite de l'ensemble $X$, et par $P_1$ l'ensemble parfait non vide contenu dans $K(P)$ où $P$ désigne l'ensemble du théorème 1. Si $x < y$ et $x, y \in P_1$, il existe des points $a_m$ et $a_n$ (v. la démonstration du théorème 1) satisfaisant à la condition $x < a_m < a_n < y$. Il s'ensuit que $f(x) \le f(a_m) < f(a_n) \le f(y)$.

Il résulte du lemme 4 que l'ensemble $D \setminus W_f$ est dense dans $D$. On peut donc établir pour l'ensemble $D \setminus W_f$ un lemme analogue au lemme 6, et ensuite construire un ensemble dense en soi $B \subset D$ composé des points $b_1, b_2, b_3, \dots$ tels que

$$(b_m - b_n)[f(b_m) - f(b_n)] < 0 \quad \text{pour } m \neq n.$$

L'ensemble $P_2$ peut être défini comme un certain sous-ensemble non-vide parfait de l'ensemble $K(B)$, c.q.f.d.

**THÉORÈME 2.** Soit $f$ une fonction définie et continue sur un ensemble parfait et borné $D$. Alors les conditions suivantes sont équivalentes:

(I) La fonction $f$ est nulle part monotone sur $D$.

(II) L'ensemble $O_f$ est dense dans $D$.

(III) Pour toute portion $P$ de l'ensemble $D$, l'ensemble $f(P \setminus O_f)$ est un ensemble-frontière dans $f(P)$.

(IV) L'ensemble $M_f \cup W_f$ est un ensemble-frontière dans $D$.

(V) Pour toute portion $P$ de l'ensemble $D$, l'ensemble $H_P$ des valeurs de $y \in f(P)$, pour lesquelles les ensembles $f^{-1}(y) \cap P \subset O_f$, est dense dans $f(P)$.

**Démonstration.** Nous établirons d'abord l'équivalence des conditions (II) et (IV). De la définition des ensembles $O_f$, $E_f$, $M_f$ et $W_f$ il résulte que

$$(14) \qquad D \setminus O_f = E_f \cup M_f \cup W_f.$$

Cette égalité et (II) entraînent (IV). Admettons maintenant que l'ensemble $M_f \cup W_f$ soit un ensemble-frontière dans $D$. Supposons que la fonction $f$ soit constante sur une portion $D_0$ de l'ensemble $D$. La définition de l'ensemble $M_f$ entraîne donc l'inclusion $D_0 \subset M_f$, en contradiction avec l'hypothèse que l'ensemble $M_f \cup W_f$ est un ensemble-frontière dans $D$; la fonction $f$ n'est donc constante sur aucune portion de l'ensemble $D$. Par conséquent, en vertu du lemme 3, l'ensemble $E_f$ est de première catégorie dans $D$. L'ensemble $M_f \cup W_f$ étant de première catégorie dans $D$ en vertu du lemme 2, il s'ensuit, par (14), que l'ensemble $O_f$ est dense dans $D$.
L'équivalence des conditions (III) et (V) est évidente, car $f(P\O_f) = f(P)\H_P$. Il reste donc à établir celle des conditions (I), (II) et (III).

Démonstration de l'implication (III) ⇒ (II). Supposons que l'ensemble $O_f$ ne soit pas dense dans $D$. Il existe donc une portion $P$ de l'ensemble $D$ telle que $P\O_f = P$, d'où $f(P\O_f) = f(P)$ en contradiction avec la condition (III).

Démonstration de l'implication (II) ⇒ (I). Soit $D_0$ une portion quelconque de l'ensemble $D$ et $\alpha$ un point de l'ensemble $D_0 \cap O_f$. En vertu de la définition de l'ensemble $O_f$ il existe dans l'ensemble $D_0$ des points $t$ et $z$ tels que $(x-t)(x-z) > 0$ et $f(t) < f(x) < f(z)$; cela signifie que la fonction $f$ n'est pas monotone sur $D_0$.

Démonstration de l'implication (I) ⇒ (III). De l'égalité (14) résulte que

$$f(D\O_f) = f(E_f \cup M_f \cup W_f) = f(E_f) \cup f(M_f) \cup f(W_f).$$

Les ensembles $f(M_f)$ et $f(W_f)$ sont de première catégorie dans $f(D)$ en vertu du lemme 5. Pour prouver que l'ensemble $f(D\O_f)$ est de première catégorie dans $f(D)$, il suffit de démontrer que l'ensemble $f(E_f)$ est de première catégorie dans $f(D)$.

Soit $p = \min_{t \in D}, q = \max_{t \in D}$ et $\langle p, q \rangle \setminus D = \bigcup_n (p_n, q_n)$, les intervalles $(p_n, q_n)$ étant disjoints à deux.

Posons

$$g(x) = \begin{cases} f(x) & \text{pour } x \in D, \\ f(p_n) + \frac{f(q_n) - f(p_n)}{q_n - p_n} & \text{pour } x \in (p_n, q_n). \end{cases}$$

La fonction $g$ est continue dans l'intervalle $\langle p, q \rangle$ et on a évidemment $E_f \subset E_g \cup A$, où $A = \langle p \rangle \cup \langle q \rangle \cup \bigcup_n (\langle p_n \rangle \cup \langle q_n \rangle)$. L'ensemble $g(E_g)$ est dénombrable en vertu du théorème de Sierpiński [2], par conséquent l'ensemble $f(E_f)$ est dénombrable, donc de première catégorie dans $f(D)$.

L'ensemble $f(D\O_f)$, de première catégorie dans l'ensemble parfait $f(D)$, est, en vertu du théorème de Baire, un ensemble-frontière dans $f(D)$.

La fonction $f$ est nulle part monotone sur une portion quelconque $P$ de l'ensemble $D$. Par conséquent, en remplaçant dans le raisonnement ci-dessus l'ensemble $D$ par $P$ — nous concluons que l'ensemble $f(P\O_f) = f[P(P \cap O_f)]$ est frontière dans $f(P)$, c.q.f.d.

Remarque 4. Soit une fonction réelle $f$, définie et continue sur un ensemble parfait et borné $D$.

Introduisons les conditions suivantes:

(α) Pour tout y l'ensemble de niveau $f^{-1}(y)$ est un ensemble non-dense dans $D$.

(β) L'ensemble $f(D\O_f)$ est frontière dans $f(D)$.

(γ) L'ensemble $H$ des valeurs $y$, pour lesquelles les ensembles de niveau $f^{-1}(y) \subset O_f$, est dense dans $f(D)$.

(δ) L'ensemble $E$ des valeurs $y$, pour lesquelles les ensembles de niveau $f^{-1}(y)$ sont des ensembles non-vides et parfaits, est dense dans $f(D)$.

(III') ($\alpha$) et (β),

(V') ($\alpha$) et (γ),

(VI) ($\alpha$) et (δ).

Les conditions (III) et (V) du théorème 2 ne peuvent être remplacées par les conditions (III') et (V'); en effet, nous allons démontrer que chacune de ces conditions ne suffit pas (bien qu'elle soit nécessaire) pour que la fonction $f$ soit nulle part monotone sur $D$.

En effet, il existe une fonction $g$ finie, définie, continue et nulle part monotone sur l'intervalle $I = (-1, 0)$. On peut admettre de plus que $g(I) \supset \langle 0, 1 \rangle$ et $g(0) = 0$. Désignons maintenant par $C$ l'ensemble de Cantor sans le point zéro, et posons $D = I \cup C$ ainsi que

$$f(x) = \begin{cases} g(x) & \text{pour } x \in I, \\ x & \text{pour } x \in C. \end{cases}$$

Il s'ensuit du théorème 2 que l'ensemble $g(I\O_g)$ est frontière dans $g(I)$. Puisque $O_f = O_g$, on a

$$f(D\O_f) = f([I\O_g] \cup C) = f(I\O_g) \cup f(C) = g(I\O_g) \cup C.$$

L'ensemble $f(D\O_f)$ est donc frontière dans l'intervalle $f(D) = g(I)$, car il est la somme de l'ensemble frontière $g(I\O_g)$ et de l'ensemble non-dense $C$.

D'autre part, la fonction continue $f$ n'est nulle part monotone sur $D$, car elle est croissante sur la portion $C$ de l'ensemble $D$.

La fonction $f$ remplit évidemment la condition (α).

THÉORÈME 2'. Si l'ensemble $D$ est une intervalle, les conditions: (I), (II), (III), (IV), (V), (III'), (V') et (VI) sont équivalentes aux hypothèses du théorème 2.

Démonstration. La condition (V), étant équivalente à (I), implique la condition (α); dans le cas contraire il existerait un nombre $y$ tel que le niveau $f^{-1}(y)$ serait dense dans une certaine portion $D_0$ de l'ensemble $D$. L'ensemble fermé $f^{-1}(y)$ contient donc $D_0$; cela veut dire que la fonction $f$ est constante sur $D_0$, ce qui est en contradiction avec la condition (I). Il en résulte immédiatement que la condition (V) a pour conséquence la conjunction des conditions (α) et (γ), et par suite
la condition (V'), laquelle est évidemment équivalente à la condition (III').
La condition (V') implique facilement (voir [1]) la condition (VI), qui
est équivalente à (I), comme il a été démontré au [1], c.q.f.d.

THÉORÈME 3. Il existe une fonction $f$ définie et continue sur l'ensemble $C$ de Cantor, avec les propriétés suivantes:

(i) *f* est univalente,

(ii) *f* est nulle part monotone sur *C*.

Démonstration. Soit $x \in C$, donc $x = \sum_{n=1}^{\infty} \frac{x_n}{3^n}$, où l'on a, pour $n$:
$x_n = 0$ ou bien $x_n = 2$.

Posons

$$ \varphi(x_n) = \begin{cases} 0, & \text{si } x_n = 2, \\ 1, & \text{si } x_n = 0 \text{ et } x_{n+1} = 0, \\ 2, & \text{si } x_n = 0 \text{ et } x_{n+1} = 2, \end{cases} $$

et

$$ f(x) = \sum_{n=1}^{\infty} \frac{\varphi(x_n)}{3^n}. $$

La fonction $f$ est continue en tout point $x \in C$, car si $t \in C$ et $|t-x| < 3^{-n}$, on a $t_k = x_k$ pour $k < n$, donc $\varphi(x_k) = \varphi(t_k)$ pour $k \le n-2$. Il s'ensuit que

$$ |f(x) - f(t)| \le \sum_{k=n-1}^{\infty} 2 \cdot 3^{-k} = 3^{2-n}. $$

La fonction $f$ est évidemment univalente; il reste à prouver qu'elle est nulle part monotone.

Soit $(x, t) \cap C = C_0$ une portion de l'ensemble $C$ et soit $x, t \in C$.
Comme $x < t$, il existe un nombre naturel $n$ tel que $x_k = t_k$ pour $k < n$,
$x_n = 0$, $t_n = 2$, et pour $k > n$ il existe un indice $n_1$, tel que $x_{n_1} = 0$ ou
bien un indice $n_2$ tel que $t_{n_2} = 2$. Soit, par exemple, $x_{n_1} = 0$.

Posons

$$ a_k = \begin{cases} x_k, & \text{si } k \le n, \\ 2, & \text{si } n < k \le n_1+1, \\ 0, & \text{si } k > n_1, \end{cases} $$

$$ b_k = \begin{cases} x_k, & \text{si } k \le n, \\ 2, & \text{si } n < k \le n_1+1 \text{ ou bien } k = n_1+3, \\ 0, & \text{si } k > n_1+1 \text{ et } k \ne n_1+3, \end{cases} $$

$$ c_k = \begin{cases} x_k, & \text{si } k \le n, \\ 2, & \text{si } k > n, \end{cases} $$

et enfin

$$ a = \sum_{k=1}^{\infty} \frac{a_k}{3^k}, \quad b = \sum_{k=1}^{\infty} \frac{b_k}{3^k}, \quad c = \sum_{k=1}^{\infty} \frac{c_k}{3^k}. $$

On voit aisément que $a < a < b < c < t$ et $f(c) < f(a) < f(b)$: cela prouve que la fonction $f$ n'est pas monotone sur $C_0$, c.q.f.d.

## Travaux cités

[1] M. K. Garg, On level sets of a continuous nowhere monotone function, Fund. Math. 52 (1963), pp. 60-68.

[2] W. Sierpiński, Démonstration de la dénombrabilité des valeurs extrémales d'une fonction, C. R. Soc. Sci. Varsovie 5 (1912), pp. 232-237.

UNIVERSITÉ DE LODZ

Reçu par la Rédaction le 18.1.1965