일반위상수학에서 **제1 범주 집합**(第一範疇集合, 영어: meager set, set of first category)은 위상만으로 정의할 수 있는, ‘매우 작은’ 집합의 개념이다. 영집합의 개념과 유사하지만, 측도 없이도 정의된다.

정의
--

### 조밀한 곳이 없는 집합

위상 공간 X의 부분 집합 S\subseteq X에 대하여 다음 조건들이 서로 동치이며, 이를 만족시키는 집합을 **조밀한 곳이 없는 집합**(稠密한 곳이 없는 集合, 영어: nowhere dense set)이라고 한다.

* (A) {\displaystyle \operatorname {int} (\operatorname {cl} (S))=\varnothing }.:41, §8.A:40, §9
* (A′) {\displaystyle X\setminus \operatorname {cl} (S)=\operatorname {int} (X\setminus S)}는 X의 조밀 열린집합이다.:41, §8.A
* (B) {\displaystyle \operatorname {cl} S=\partial U}인 열린집합 U\subseteq X가 존재한다.
* (C) {\displaystyle S\subseteq \partial U}인 열린집합 U\subseteq X가 존재한다.
* (B′) {\displaystyle \operatorname {cl} S=\partial F}인 닫힌집합 F\subseteq X가 존재한다.
* (C′) {\displaystyle S\subseteq \partial F}인 닫힌집합 F\subseteq X가 존재한다.

여기서 \operatorname {cl} 은 폐포이며, \operatorname {int}는 내부이며, \partial 은 경계이다.

**증명:**

조건 A ⇒ 조건 B: {\displaystyle U=X\setminus \operatorname {cl} S}로 놓는다. 그렇다면 {\displaystyle \operatorname {cl} (U)=X\setminus \operatorname {int} (\operatorname {cl} (S))=X}이며, {\displaystyle \partial U=\operatorname {cl} (U)\setminus U=X\setminus (X\setminus \operatorname {cl} S)=\operatorname {cl} S}이다.

조건 B ⇒ 조건 C: {\displaystyle \partial U=\operatorname {cl} (U)\cap (X\setminus U)}는 닫힌집합이므로, {\displaystyle S\subseteq \operatorname {cl} S\subseteq \partial S}이다.

조건 C ⇒ 조건 A: 우선, {\displaystyle \partial U=\operatorname {cl} (U)\cap (X\setminus U)}는 닫힌집합이다. 따라서 {\displaystyle \operatorname {cl} (S)\subseteq \operatorname {cl} (\partial U)=\partial U}이다. 또한, 임의의 열린집합 {\displaystyle V\subseteq \partial U}에 대하여, {\displaystyle V\subseteq \partial U\subseteq X\setminus U}이므로 {\displaystyle V\subseteq \operatorname {int} (X\setminus U)=X\setminus \operatorname {cl} (U)}인데, 또한 {\displaystyle V\subseteq \partial U\subseteq \operatorname {cl} (U)}이다. 따라서 V=\varnothing 이며, {\displaystyle \varnothing =\operatorname {int} (\partial U)\supseteq \operatorname {int} (\operatorname {cl} S)}이다.

조건 A ⇔ 조건 A′: 조밀 집합의 정의에 의하여 자명하다.

조건 B ⇔ 조건 B′, 조건 C ⇔ 조건 C′: {\displaystyle U=X\setminus F}로 놓으면 {\displaystyle \partial U=\partial F}이다.

### 바나흐-마주르 게임

집합 X 속의 집합족 {\displaystyle {\mathcal {W}}\subseteq \operatorname {Pow} (X)}이 주어졌을 때, 임의의 부분 집합 S\subseteq X에 대하여, 다음과 같은 2인(人) 게임을 생각하자.

1. 두 선수 갑(甲)과 을(乙)이 있다.
2. 갑과 을은 수(手)를 두는 것을 반복하며, 갑이 먼저 수를 둔다. 여기서, 수를 둔다는 것은 {\displaystyle W\in {\mathcal {W}}}를 고르는 것이다. 수들을 {\displaystyle (W\_{0},W\_{1},W\_{2},\dots )}라고 하자. (즉, 갑은 {\displaystyle W\_{0},W\_{2},W\_{4},\dots }를 두고, 을은 {\displaystyle W\_{1},W\_{3},W\_{5},\dots }를 둔다.) 각 선수는 이전에 놓인 모든 수(手)들을 알고 있으며, 또한 {\displaystyle W\_{0}\supseteq W\_{1}\supseteq W\_{2}\supseteq \cdots }이어야 한다.
3. 만약 {\displaystyle S\cap W\_{0}\cap W\_{1}\cap \cdots \neq \varnothing }라면 갑이 이기며, 아니라면 을이 이긴다.

이를 **바나흐-마주르 게임**(영어: Banach–Mazur game) {\displaystyle \operatorname {BM} (X,S,{\mathcal {W}})}이라고 한다.:232–233, §4:51, §8.H

### 제1 범주 집합

위상 공간 X 속의 집합족 {\displaystyle {\mathcal {W}}\subseteq \operatorname {Pow} (X)}가 만족시킬 수 있는 다음과 같은 성질 (∗)를 정의하자.

* 성질 (∗): 임의의 {\displaystyle W\in {\mathcal {W}}}에 대하여, {\displaystyle \operatorname {int} W\neq \varnothing }이며, 또한 임의의 열린집합 U\subseteq X에 대하여, {\displaystyle W\subseteq U}인 {\displaystyle W\in {\mathcal {W}}}가 하나 이상 존재한다.

(예를 들어, {\displaystyle {\mathcal {W}}}를 공집합이 아닌 모든 열린집합의 족으로 잡으면 성질 (∗)가 성립한다.)

그렇다면, 위상 공간 X의 임의의 부분 집합 S\subseteq X에 대하여, 다음 세 조건들이 서로 동치이며, 이를 만족시키는 집합 S를 X의 **제1 범주 집합**이라고 한다.

* S는 가산 개의 조밀한 곳이 없는 집합들의 합집합이다. 즉, {\displaystyle \textstyle S=\bigcup \_{i\in I}S\_{i}}가 되는, 가산 개의 조밀한 곳이 없는 집합들의 족 {\displaystyle \{S\_{i}\}\_{i\in I}}, {\displaystyle |I|\leq \aleph \_{0}}이 존재한다.:295:41, §8.A:40, §9
* 바나흐-마주르 게임 {\displaystyle \operatorname {BM} (X,S,{\mathcal {W}})}에서 을이 필승 전략을 갖는, (∗) 조건을 만족시키는 집합족 {\displaystyle {\mathcal {W}}\subseteq \operatorname {Pow} (X)}이 존재한다.:233, §:51, Theorem 8.33
* (∗) 조건을 만족시키는 임의의 집합족 {\displaystyle {\mathcal {W}}\subseteq \operatorname {Pow} (X)}에 대한 바나흐-마주르 게임 {\displaystyle \operatorname {BM} (X,S,{\mathcal {W}})}에서 을이 필승 전략을 갖는다.:233, §:51, Theorem 8.33

위상 공간 X의 **제2 범주 집합**(第二範疇集合, 영어: subset of the second category, 영어: nonmeager set)은 제1 범주 집합이 아닌 부분집합이다.:41, §8.A:40, §9

모든 제1 범주 집합의 여집합이 조밀 집합인 위상 공간을 **베르 공간**이라고 한다. 조밀한 곳이 없는 집합들과 열린집합들을 포함하는 최소의 시그마 대수의 원소를 **준열린집합**이라고 한다.

성질
--

### 함의 관계

위상 공간의 부분 집합에 대하여, 다음과 같은 함의 관계가 존재한다.

|  |  |
| --- | --- |
|  | 정칙 열린집합 ⇒ 열린집합 |
|  | ⇗ |  | ⇘ |
| 열린닫힌집합 |  | 보렐 집합 |
|  | ⇘ |  | ⇗ |  | ⇘ |
|  | 정칙 닫힌집합 ⇒ 닫힌집합 |  | 준열린집합 ⇒ 부분 집합 |
|  | ⇗ |
| 조밀 열린집합의 여집합 ⇒ 조밀한 곳이 없는 집합 ⇒ 제1 범주 집합 |

### 연산에 대한 닫힘

다음이 성립한다.

| 집합의 종류 | 부분 집합에 대하여 닫힘? | 유한 합집합에 대하여 닫힘? | 가산 합집합에 대하여 닫힘? | 비가산 합집합에 대하여 닫힘? |
| --- | --- | --- | --- | --- |
| 조밀한 곳이 없는 집합 | ⭕ | ⭕ | ❌ | ❌ |
| 제1 범주 집합 | ⭕ | ⭕ | ⭕ | ❌ |

즉, 조밀한 곳이 없는 집합들은 순서 아이디얼을 이루며, 제1 범주 집합들은 시그마 아이디얼을 이룬다.

### 측도와 제1 범주성의 관계

측도와 범주 사이에는 다음과 같은 아날로지가 성립한다.

|  | 원래 시그마 대수 | 추가되는 시그마 아이디얼 | 확장된 시그마 대수 |
| --- | --- | --- | --- |
| 측도 | 보렐 집합 | 영집합 | 르베그 가측 집합 |
| 범주 | 제1 범주 집합 | 준열린집합 |

그러나 다음 정리와 같이, 측도와 범주는 서로 잘 호환되지 않는다.

* 유클리드 공간 \mathbb {R} ^{n} 및 임의의 양의 실수 \epsilon >0에 대하여, {\displaystyle \operatorname {vol} (\mathbb {R} ^{n}\setminus U)<\epsilon }인, 르베그 가측 조밀한 곳이 없는 열린집합 {\displaystyle U\_{\epsilon }\subseteq \mathbb {R} ^{n}}가 존재한다. (여기서 {\displaystyle \operatorname {vol} }은 르베그 측도이다.)

**증명:**

유리수 집합의 곱집합과 자연수 집합 사이의 임의의 전단사 함수 {\displaystyle f\colon \mathbb {Q} ^{n}\to \mathbb {N} }을 생각하자. 이제, 다음과 같은 열린집합들의 열을 생각하자.

{\displaystyle V\_{i}=\bigcup \_{x\in \mathbb {Q} ^{n}}\operatorname {ball} \left(x,2^{-f(x)-i}\right)\qquad (i\in \mathbb {N} )}
여기서 {\displaystyle \operatorname {ball} (x,r)}는 반지름 r, 중심 x의 열린 공이다.
그렇다면, 다음이 성립하는 것을 쉽게 알 수 있다.

* {\displaystyle \operatorname {vol} (V\_{i})\leq \operatorname {vol} (\operatorname {ball} (0,1))\cdot 2^{1-i}}.
* {\displaystyle \mathbb {R} \setminus V\_{i}}는 조밀한 곳이 없는 집합인 닫힌집합이다.

이제 {\displaystyle i=\lceil 1-\log \_{2}(\epsilon /\operatorname {vol} (\operatorname {ball} (0,1)))\rceil }로 놓고 {\displaystyle U\_{\epsilon }=V\_{i}}로 놓으면 된다.

* {\displaystyle \mathbb {R} ^{n}\setminus X}가 르베그 영집합인 Gδ 제1 범주 집합 {\displaystyle X\subseteq \mathbb {R} ^{n}}가 존재한다.

**증명:**

집합
{\displaystyle G=\bigcap \_{i=1}^{\infty }U\_{1/i}\subseteq \mathbb {R} ^{n}}
를 정의하면, 정의에 따라 다음이 성립한다.

* G는 Gδ 집합이다.
* {\displaystyle \mathbb {R} ^{n}\setminus G}는 제1 범주 집합이다.
* {\displaystyle \textstyle \operatorname {vol} (G)\leq \min \_{i=1}^{\infty }\operatorname {vol} (U\_{1/i})}이므로 {\displaystyle \operatorname {vol} (G)=0}이다.

따라서, 측도가 0인 것과 제1 범주 집합인 것은 둘 다 매우 ‘작은’ 집합임을 의미하지만, 이들은 매우 다른 개념인 것을 알 수 있다.

반면, **에르되시-시에르핀스키 정리**(Erdős-Sierpiński定理, 영어: Erdős–Sierpiński theorem)에 따르면, 만약 연속체 가설이 성립한다면 다음 조건들을 모두 만족시키는 전단사 함수 f\colon\mathbb R\to\mathbb R가 존재한다.:75, Theorem 19.3:643, §I

* 대합이다. 즉, 임의의 r\in {\mathbb R}에 대하여 {\displaystyle f(f(r))=r}이다.
* 임의의 부분 집합 {\displaystyle A\subseteq R}에 대하여, A가 제1 범주 집합일 필요 충분 조건은 f(A)가 르베그 영집합인 것이다.

즉, 연속체 가설이 성립한다면 영집합과 제1 범주 집합 사이의 아날로지가 완벽히 성립하는 것을 알 수 있다.

그러나 **슈필라인 불가능성 정리**에 따르면, 다음 두 조건을 만족시키는 전단사 함수 f\colon {\mathbb R}\to {\mathbb R}는 존재할 수 없다.:82:306, §3

* {\displaystyle S\subseteq \mathbb {R} }에 대하여, S가 르베그 가측 집합일 필요 충분 조건은 f(S)가 준열린집합인 것이다.
* {\displaystyle S\subseteq \mathbb {R} }에 대하여, S가 르베그 영집합일 필요 충분 조건은 f(S)가 제1 범주 집합인 것이다.

### 보렐 위계와의 관계

위상 공간 X의 부분 집합 S\subset X에 대하여, 다음 두 조건이 서로 동치이다.

* S는 조밀한 곳이 없는 집합이다.
* \operatorname {cl}(S)는 조밀한 곳이 없는 집합이다.

위상 공간 X의 부분 집합 S\subset X이 열린집합이며 조밀한 곳이 없는 집합이라면, S는 공집합이다.

임의의 위상 공간 X의 임의의 제1 범주 집합 {\displaystyle M\subseteq X}에 대하여, {\displaystyle M\subseteq {\tilde {M}}\in {\boldsymbol {\Sigma }}\_{2}^{0}(X)}인 제1 범주 집합 {\tilde {M}}이 존재한다. (여기서 {\displaystyle {\boldsymbol {\Sigma }}\_{2}^{0}(X)}는 Fσ 집합들의 족이다.)

**증명:**

정의에 따라, M은 가산 개의 조밀한 곳이 없는 집합 {\displaystyle \{M\_{i}\}\_{i\in \mathbb {N} }}들의 합집합으로 나타낼 수 있다.

{\displaystyle M=\bigcup \_{i\in \mathbb {N} }M\_{i}}
조밀한 곳이 없는 집합의 폐포는 (자명하게) 조밀한 곳이 없는 집합이므로,

{\displaystyle {\tilde {M}}=\bigcup \_{i\in \mathbb {N} }\operatorname {cl} (M\_{i})}
로 놓으면 자명하게 {\displaystyle M\in {\tilde {M}}\in {\boldsymbol {\Sigma }}\_{2}^{0}(X)}이다.

예
-

실수선 \mathbb {R} 의 부분 집합으로서, 유리수의 집합 {\displaystyle \mathbb {Q} \subseteq \mathbb {R} }는 제1 범주 집합이다. 반면, 무리수의 집합은 제1 범주 집합이 아니다. 또한, 유리수의 집합은 스스로의 부분 집합 {\displaystyle \mathbb {Q} \subseteq \mathbb {Q} }으로서도 제1 범주 집합이다. 따라서, 유리수의 공간은 베르 공간이 아니다.

실수선의 부분 집합으로서, 칸토어 집합은 제1 범주 집합이다. 그러나 스스로의 부분 집합으로서 칸토어 집합은 베르 범주 정리에 따라서 제1 범주 집합이 아니다.

집합 \{1/n\colon n\in {\mathbb Z}^{+}\}은 실수선의 조밀한 곳이 없는 집합이며, 닫힌집합이 아니다.

베르 공간 {\displaystyle \mathbb {N} ^{\aleph \_{0}}}의 모든 콤팩트 집합은 조밀한 곳이 없는 집합이다.:41, §8.A

증명:

귀류법을 사용하여, {\displaystyle A\subseteq \mathbb {N} ^{\aleph \_{0}}}가 콤팩트 집합이지만, 조밀한 곳이 없는 집합이 아니라고 하자. {\displaystyle \mathbb {N} ^{\aleph \_{0}}}은 하우스도르프 공간이므로, A는 닫힌집합이다. 따라서 {\displaystyle \operatorname {int} A\neq \varnothing }이며, A는 다음과 같은 꼴의 열린집합을 포함한다.

{\displaystyle \{a\_{0}\}\times \{a\_{1}\}\times \dotsb \times \{a\_{n-1}\}\times \mathbb {N} \times \mathbb {N} \times \dotsb \subseteq A}
이는 닫힌집합이기도 하므로, 콤팩트 집합이다. 하지만 그 열린 덮개

{\displaystyle \{\{a\_{0}\}\times \{a\_{1}\}\times \dotsb \times \{a\_{n-1}\}\times \{a\}\times \mathbb {N} \times \mathbb {N} \times \dotsb \colon a\in \mathbb {N} \}}
는 유한 부분 덮개를 갖지 않는다. 이는 모순이다.

역사
--

슈코츠카 책의 현존하는 한 쪽
제1 범주 집합의 개념은 르네루이 베르가 1899년 박사 학위 논문에서 도입하였다.

에르되시-시에르핀스키 정리는 1934년에 바츠와프 시에르핀스키가 대합 조건을 제외하고 증명하였으며, 이후 1943년에 에르되시 팔이 대합 조건을 추가하여 증명하였다. 슈필라인 불가능성 정리는 1934년에 에드바르트 마르체프스키(폴란드어: Edward Marczewski, 1907~1976)가 증명하였다.:306, §3 (마르체프스키의 본명은 에드바르트 슈필라인(폴란드어: Edward Szpilrajn)이었지만, 1940년에 나치 독일의 유대인 박해를 피하여 ‘마르체프스키’로 개명하였다.)

바나흐-마주르 게임은 스타니스와프 마주르가 1935년에 도입하였다. 당시 리비우에 살던 수학자들은 슈코츠카 카페(폴란드어: Kawiarnia Szkocka 카비아르니아 슈코츠카[\*], 폴란드어: szkocka 슈코츠카[\*]는 폴란드어: Szkocja 슈코치아[\*](스코틀랜드)의 형용사형)에 모여서 수학 문제들을 토론하였으며, 토론에 의하여 얻은 결과들을 "슈코츠카 책"(폴란드어: Księga Szkocka 크시엥가 슈코츠카[\*])이라는 노트에 기록하였다. 마주르의 게임의 필승 전략과 제1 범주성 사이의 관계는 슈코츠카 책의 43번 문제로 수록되었으며, 같은 책에서 스테판 바나흐가 1935년 8월 4일 증명하였다고 기록되었다.:116, Problem 43 그러나 바나흐는 이 증명을 기록하지 않았다.

이후 1957년에 존 옥스토비(영어: John C. Oxtoby, 1910~1991)가 마주르의 추측의 증명을 출판하였다.

참고 문헌
-----

1. 1 2 3 4 5 6 7 8  Kechris, Alexander Sotirios (1995). 《Classical descriptive set theory》. Graduate Texts in Mathematics (영어) **156**. Springer-Verlag. doi:10.1007/978-1-4612-4190-4. ISBN 978-1-4612-8692-9. ISSN 0072-5285. MR 1321597. Zbl 0819.04002.
2. 1 2 3 4 5 6  Oxtoby, John C. (1980). 《Measure and category: a survey of the analogies between topological and measure spaces》. Graduate Texts in Mathematics (영어) **2** 2판. Springer-Verlag. doi:10.1007/978-1-4684-9339-9. ISBN 978-0-387-90508-2. ISSN 0072-5285. MR 584443. Zbl 0435.28011.
3. 1 2 3  Telgársky, Rastislav (1987). "Topological games: on the 50th anniversary of the Banach–Mazur game". 《Rocky Mountain Journal of Mathematics》 (영어) **17** (2). doi:10.1216/RMJ-1987-17-2-227. ISSN 0035-7596. MR 892457.
4. ↑  Munkres, James R. (2000). 《Topology》 (영어) 2판. Prentice Hall. ISBN 978-0-13-181629-9. MR 0464128. Zbl 0951.54001.
5. 1 2  Erdös, P. (1943년 10월). "Some remarks on set theory" (PDF). 《Annals of Mathematics》 (영어) **44** (4): 643–646. doi:10.2307/1969101. ISSN 0003-486X. JSTOR 1969101. MR 0009614. Zbl 0060.13112.
6. 1 2  Szpilrajn, Edward (1934). "Remarques sur les fonctions complètement additives d’ensemble et sur les ensembles jouissant de la propriété de Baire" (PDF). 《Fundamenta Mathematicae》 (프랑스어) **22** (1): 303–311. ISSN 0016-2736. JFM 60.0037.04. Zbl 0009.30404.
7. ↑  Baire, R. (1899). "Sur les fonctions de variables réelles". 《Annali di Matematica Pura ed Applicata》 (프랑스어) **3**: 1–123. doi:10.1007/BF02419243. ISSN 0373-3114. JFM 30.0359.01.
8. ↑  Jones, Sara Hawtrey (1999). "Applications of the Baire category theorem". 《Real Analysis Exchange》 (영어) **23** (2): 363–394. ISSN 0147-1937. MR 1640007. Zbl 0943.26013.
9. ↑  Sierpiński, W. (1934). "Sur la dualité entre la premiere categorie et la mesure nulle" (PDF). 《Fundamenta Mathematicae》 (프랑스어) **22**: 276–280. ISSN 0016-2736. JFM 60.0040.01. Zbl 0009.20405.
10. ↑  Mauldin, R. Daniel (2015). 〈Chapter 6. Problems with commentary〉. Mauldin, R. Daniel. 《The Scottish Book: mathematics from the Scottish Café with selected problems from the New Scottish Book》 (영어) 2판. Birkhäuser. 51–282쪽. doi:10.1007/978-3-319-22897-6\_6. ISBN 978-3-319-22896-9. MR 666400.
11. ↑  Oxtoby, John C. (1957). 〈The Banach–Mazur game and the Banach category theorem〉. Dresher, Melvin; Tucker, Albert William; Wolfe, Philip. 《Contributions to the theory of games. Volume III》. Annals of Mathematics Studies (영어) **39**. Princeton University Press. 159–163쪽. ISBN 978-069107936-3. MR 0093741. Zbl 0078.32903.