桁 DP の定型化


# この記事は？

桁 DP って実装のとき頭がこんがらがりませんか？私はこんがらがります。この記事では、桁 DP の実装をなるべく定型化して、実装の際にスムーズに書くことを目的としています。


# 桁 DP とは

10 進法などで、桁ごとに見て DP テーブルを更新する方法です。大雑把には「$N$ 以下の正整数のうち○○を満たすものについて、△△の和を求めてください。」という形式の問題のうち、○○または△△に、（整数そのものではなく） $10$ 進法などで表したときの各桁（位）の数字によって決まる要素が含まれる問題で使えます。
「各桁（位）の数字によって決まる」というのを、本記事では <b><font color="black">桁依存</font></b> の要素と呼びます [^depend] 。以下、変数 $N$ はこの意味（調べる対象の上限）で使います。

[^depend]: 言い換えると、何進法で表すかによって値が変わる性質のものとも言えます。

:::note
桁 DP が使える問題：
- <b>$N$ 以下の正整数のうち○○を満たすものについて、△△の和を求めてください</b>

という形式の問題のうち、○○または△△に桁依存の要素を含むもの

:::

なお複数変数の問題も考えられますが、本記事では未対応です。今後元気があれば追記するかもしれません。
例えば、下記のような例が考えられます。

[^digit_integer]: 10 進法で表記した際の各位の数字を $0$ ～ $9$ の整数と見なす


-  <b>カウントタイプ</b>
問題例：「$N$ 以下の正整数のうち、各位の数字 [^digit_integer]の和が $K$ の倍数になるものの <b><font color="red">個数</font></b> を求めよ。」

-  <b>合計タイプ</b>
問題例：「$N$ 以下の正整数のうち、各位の数字 [^digit_integer]の和が $K$ の倍数になるものの <b><font color="red">合計</font></b> を求めよ。」
整数そのものの合計ではなく、なんらかの寄与の合計を求める場合もあります。

-  <b>Leading Zero 考慮タイプ</b>
問題例：「正整数 $a$ について、 $f(a)$ をその数の各位の数字の積とします（例えば
 $f(235) = 2\times 3\times 5 = 30$ ）。 $\displaystyle\sum_{i=1}^{N} f(i)$ を求めよ。」
この場合、 $235$ を $000235$ などとみなして計算するとゼロになってしまうことから、異なる桁数の正整数を扱う際に Leading Zero の処理に注意が必要になります。


なお Leading Zero 考慮が必要なタイプは議論が複雑になるので、最初は無視して読み進めても本記事の理解には問題ありません。


まとめると次のようになります。

### 調べる対象

| 調べる対象 | 問題文中の書き方（例） |
| :----: | ---- |
| すべて | $N$ 以下のすべての正整数 |
| 整数そのものに依存 | $N$ 以下の正整数のうち $K$ の倍数であるもの |
| 桁依存 | - $N$ 以下の正整数のうち、各位の和が $K$ の倍数であるもの |
| 桁依存<br>Leading Zero 考慮あり | - $N$ 以下の正整数のうち、各位の積が $K$ の倍数であるもの |

「桁依存」は何進法で表記するかによって変わる性質のもの、整数依存はそれ以外のものという意味で種類分けしていますが、実際に桁 DP を実装するときには大差はありません。


### 合計するべきもの

| 合計するべきもの | 問題文中の書き方（例） |
| :----: | ---- |
| 個数 | ～～の個数を求めよ |
| 桁依存なし<br>（総和など） | ～～の総和を求めよ |
| 桁依存 | ～～について、「各位の和」の総和を求めよ |
| 桁依存<br>Leading Zero 考慮あり | ～～について、「各位の積」の総和を求めよ |

「個数」は遷移の際の Factor が常に $1$ になります。
「総和」と「桁依存」は実装上は大差ありません。
ただし Leading Zero 考慮必要 は遷移が少し複雑になります。


上の $2$ つの表から、「調べる対象」と「合計するべきもの」を任意に選ぶと問題ができますが、少なくとも片方に桁依存要素を含む場合には桁 DP が有効です。

## 種類

いくつか派生のパターンがあります。


- $10$ 進法か $2$ 進法か
$10$ 進法の他に $2$ 進法などで出題されることもあります。本記事では $b$ 進法 [^base] （$b = 2,10$ など）で考えるものとします。 $b=2$ の場合は、問題文中に明示的に「$2$ 進法で～～」という直接的な文言が入っておらず、 bitwise xor などで定義される場合もあります。この場合も言い換えると上の形になると思います。

- 「$l$ 以上 $r$ 以下の整数」についての合計を求める場合
$N$ 以下の整数に対する結果を $f(N)$ とおくと、求めるものは $f(r)-f(l-1)$ になるので、本質的には変わりません。


[^base]: "Base" の頭文字

# 保持するべき情報

桁 DP では次の情報を管理する必要があります。

1. $N$ との大小・一致を表すフラグ
通常の DP とは異なる、桁 DP の本質的な部分です。それまでに見た桁の部分について $N$ との大小関係を保持する必要があります。 DP を上の桁から見る場合は「一致している」か「真に小さい」か、下の桁から見る場合は「超えていない」か「超えている」かを持つとうまくいきます。具体的には次の項で説明します。


2. 問題の設定に応じて分類される状態の情報
例えば「$N$ 以下の $K$ の倍数について～～～」という問題では、それまでに見た桁の部分について $K$ で割った余りごとに分類して集計する必要があります。

本記事では、前者（$N$ との大小・一致の情報）を `flg` 、後者（問題固有の分類）を `state` で表します。

:::note
桁 DP では、次のふたつの情報を管理する必要がある
- 見ている範囲での $N$ との大小・一致の関係（ `flg` ）
- 問題設定で決まる分類による状況（ `state` ）
:::


# N との大小・一致のフラグ


DP の方向として、上の桁から見る方法と下の桁から見る方法があります。それぞれの遷移について説明します。基本的にはどちらでも対応できるので、片方だけマスターすれば大丈夫ですが、比較のためどちらも紹介します。


## 上から DP の場合


### DP テーブル

上の桁から順に見て、 $k$ 番目の桁 [^kth_digit] までの状態がぴったり一致しているかどうかで分けて集計します。

[^kth_digit]: 「$k$ 番目の桁」と書いていますが、この記事の実装では $1$ の位を「$0$ 番目の桁」と考え、上から DP の場合は $k$ の降順に更新しています。記事本文中ではどちらの意味で読んでも構いません。


:::note
`DP[k][flg][state]` : $k$ 番目の桁までの状態が `flg` であり、問題固有の分類による状態が `state` であるもの
:::

ここで、 `flg` の意味は下記の通りです。
- `flg = 0` ：上から $k$ 番目の桁までを見たとき、 $N$ とぴったり一致している
- `flg = 1` ：上から $k$ 番目の桁までを見たとき、 $N$ より真に小さい


### 遷移

$N$ の $k$ 桁目の数を $t$ とします。 $k$ 桁目として選ぶ数を $d$ （$d = 0,1,\cdots,b-1$ ）とすると、 $k$ 桁目に移る際の遷移は次の図のようになります。一度、真に少ないゾーンに来たらその後はどんな遷移をしても真に少ないゾーン内で動きます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/609864/958f38b0-c775-aea7-ae9c-54c6fe799ed2.png)

### 初期状態と求める状態

- 初期値は `flg = 0`
- 求める状態は `flg = 0` と `flg = 1` の合計



## 下から DP の場合

### DP テーブル

下の桁から順に見て、 $k$ 番目の桁 [^kth_digit] までの状態が $N$ の下 $k$ 桁を超えているかどうかで分けて集計します。

:::note
`DP[k][flg][state]` : $k$ 番目の桁までの状態が `flg` であり、問題固有の分類による状態が `state` であるもの
:::


ここで、 `flg` の意味は下記の通りです。
- `flg = 0` ：$k$ 番目の桁までを見たとき、 $N$ と等しいか小さい
- `flg = 1` ：$k$ 番目の桁までを見たとき、 $N$ より真に大きい



### 遷移

先ほどと同様、 $N$ の $k$ 桁目の数を $t = t_k$ とします。 $k$ 桁目として選ぶ数を $d$ （$d = 0,1,\cdots,b-1$ ）とすると、 $k$ 桁目に移る際の遷移は次の図のようになります。この場合は、先ほどよりも矢印の本数が多くなっています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/609864/7bf6e537-6ead-8130-5e0d-7f899ccd48e5.png)

### 初期状態と求める状態

- 初期値は `flg = 0`
- 求める状態は `flg = 0`

## 上からと下からの遷移の本数の比較

$b$ 進法で、 $N$ の見るべき桁の数字が $t$ のとき、矢印の本数は下記になります。

- 上から DP の場合は $b+t+1$ 本
- 下から DP の場合は $2b$ 本

$t$ が $0$ 以上 $b-1$ 以下に一様に分布しているとすると、上から DP の場合の期待値は $\displaystyle\frac{3b+1}{2}$ 本となり、下から DP に比べて定数倍（$b$ が大きいときで約 $\displaystyle\frac{3}{4}$ 倍）良くなります。


## フラグ遷移の数式化

上から・下からいずれの場合でも $\mathrm{flg'}= calc(\mathrm{flg}, d, t)$ が定まります。実装上は、 $t$ を引数として $(\mathrm{flg},\ \mathrm{flg'},\ d)$ の組み合わせを列挙する関数 `calc_transition` を作っておくときれいに書けます。

``` test.py
for flg, next_flg, digit in calc_transition(target_digit):
    # Do something
```



## Leading Zero の考慮が必要な場合

上から DP の場合は、各桁を調べる際に、前の桁からの遷移の他に「新たに桁が発生する」という遷移を加えれば良いです。
下から DP の場合は、各桁を調べ終わった際に、そこで整数が終わったとみなした場合の結果を `ans` に加えれば良いです。

# 問題ごとの状態の遷移

問題の設定に合わせて決める状態の遷移については、考えることは通常の DP と同様です。ある状態からの遷移について、遷移先とそこに加える寄与を定める必要があります。寄与は問題によってさまざまな型を取る可能性があり、まとめてひとつの変数で表しても良いのですが、中でもその個数（カウント）については重要なので別にして $c$ [^c] としておきます。その他の寄与に関する情報は $v$ [^v] とします。また、遷移後のものは「 $'$ 」を付けて表します

[^c]: count の頭文字
[^v]: value の頭文字

まとめると変数は下記です。

- $k$ : 見ている桁の位置を表す。具体的には $b^k$ の位を見ているとする
- $d$ : 見ている桁に適用する数字
- $t$ : 見ている桁に対応する $N$ の数字
- $s$ : 遷移前の state
- $s'$ : 遷移後の state
- $c$ : 遷移前のカウント
- $c'$ : 遷移後のカウント（通常は $c=c'$）
- $v$ : 遷移前の寄与
- $v'$ : 遷移後の寄与


## 決めるべきこと

次のふたつを決めれば桁 DP の遷移が決まります。

1. 状態の遷移先
$s' = f(s, d, k)$

1. 個数の計算
遷移前後で個数は変わらないので、 `count[next_flg][next_state] += count[flg][state]` のような更新をすれば良いです。

1. 寄与の計算
求めるものが「個数」の場合はこれは不要です。求めるものがなんらかの桁ごとの寄与の合計になっている場合は、桁からの寄与を $g(s, d, k)$ で表すと、 $v' = v + g(s, d, k) \cdot c$ となります。例えば、条件を満たす整数の総和を求める問題では $g(s, d, k)=d \\cdot b^\{k\}$ とすれば良いです [^sum] 。

[^sum]: 総和の寄与では、 $v' = b\cdot v + g(s, d, k) \cdot c$ とする方法もあります。

これらが決まれば DP の遷移が確定します。模式的には下記のようなコードで実行できます。ここで `calc_transition` は「フラグ遷移の数式化」で定義した遷移を列挙する関数、 `f` と `g` は上の 1. と 2. で定義したものです。

``` test.py
for k in range(length_of_N)[::-1]:
    target_digit = get_digit(N, k)
    for flg, next_flg, digit in calc_transition(target_digit):
        next_state = f(state, digit, k)
        count[next_flg][next_state] += count[flg][state]
        value[next_flg][next_state] += value[flg][state] + count[flg][state] * g(state, digit, k)
```

# 計算量

上の実装の場合、遷移部分の計算量は $O(b \log N)$ です。初期化も合わせた全体の計算量は $L$ を `state` の種類数として $O(b \log N + L)$ です。

# 実装方法

細かく解説しません [^notgood] 。問題例に AC コードのリンクを貼っているので参考にしてください。リンク先の実装では、①遷移・②寄与・③初期状態・④最終状態の条件、の $4$ つを与えるようにしています。個数を数える問題では、寄与の設定は `None` としています。

[^notgood]: あまりきれいに書けていないので・・


# 問題例と解法（ネタバレ注意）

下記を設定すれば自動的に問題が解けるので、各問題ではこれらの設定方法の例を示します。

1. 状態（$s$）の定義
1. 遷移
$f(s,d,k)$ の形で定義します
1. 寄与
$g(s,d,k)$ の形で定義します
1. 初期状態
1. 最終状態の条件
分類された状態のうち、これを満たすものの個数（または寄与の合計）が答えになります。

なおこれらのうち 1. は人間が考えるために必要なもので、実際にプログラムで設定する必要があるのは 2.～5. のみです。


## 問題例 1

<a href = "https://atcoder.jp/contests/tdpc/tasks/tdpc_number">TDPC-E</a> 数
<a href = "https://atcoder.jp/contests/tdpc/submissions/45199952">AC Code</a>
$10$ 進法
最も典型

#### 問題概要

$N$ 以下の正整数のうち、各桁の数の和が $D$ の倍数であるものの個数を求めよ。

#### 解法

それまでに見た桁の数字の合計を $D$ で割った余りを状態とします。
遷移は $s' = (s + d) \bmod M$ として個数を答えれば良いです。具体的には、次のように設定すれば良いです。


|決めるべきこと|定義|
|--|--|
|状態（$s$）の定義|これまでに使った桁の数字の合計を $D$ で割った余り|
|遷移|$f(s,d,k) = (s+d) \bmod D$|
|寄与|n/a （個数のみ）|
|初期状態|$s=0$|
|最終状態の条件|$s=0$|



## 問題例 2

<a href = "https://atcoder.jp/contests/abc154/tasks/abc154_e">ABC154-E</a> Almost Everywhere Zero
<a href = "https://atcoder.jp/contests/abc154/submissions/45200317">AC Code</a>

#### 問題概要

$N$ 以下の正整数のち、$10$ 進法で表したときに $0$ でない数字をちょうど $K$ 個含むものの個数を求めよ。

#### 解法

それまでに見た桁の数字の中で nonzero のものの個数を状態とします。
与えるべき遷移は、 $d=0$ のとき $s' = s$ 、そうでなければ $s'=s+1$ です。


|決めるべきこと|定義|
|--|--|
|状態（$s$）の定義|使った数字の中でゼロでないものの個数|
|遷移|$f(s,d,k) = \\left\\{\\begin{array}{ll}s & (d = 0)\\\\s+1 & (Otherwise)\\end{array}\\right.$|
|寄与|n/a （個数のみ）|
|初期状態|$s=0$|
|最終状態の条件|$s=K$|


## 問題例 3

<a href = "https://atcoder.jp/contests/arc127/tasks/arc127_a">ARC127-A</a> Leading 1s
<a href = "https://atcoder.jp/contests/arc127/submissions/45203142">AC Code</a>

#### 問題概要
整数 $x$ を $10$ 進表記した時に先頭に並ぶ $1$ の個数を $f(x)$ とするとき、$\sum_{i=1}^{N} f(i)$ を求めよ。

#### 解法


|決めるべきこと|定義|
|--|--|
|状態（$s$）の定義|（上の桁から見て）まだ $1$ しか出ていないとき $0$、そうでないとき $1$|
|遷移|$f(s,d,k) = \\left\\{\\begin{array}{ll}0 & (s=0 \land d = 1)\\\\1 & (Otherwise)\\end{array}\\right.$|
|寄与|$g(s,d,k) = \\left\\{\\begin{array}{ll}1 & (s=0 \land d = 1)\\\\0 & (Otherwise)\\end{array}\\right.$|
|初期状態|$s=0$|
|最終状態の条件|$s=0$|




## 問題例 4

<a href = "https://atcoder.jp/contests/abc235/tasks/abc235_f">ABC235-F</a> Variety of Digits
<a href = "https://atcoder.jp/contests/abc235/submissions/45197784">TLE Code</a>
$10$ 進法
Leading Zero考慮あり

#### 問題概要

$1$ 以上 $9$ 以下の整数からなる集合 $C$ が与えられる。 $N$ 以下の正整数のうち、 $10$ 進法で表したときに $C$ のすべての要素を含むものの総和を求めよ。

#### 解法

|決めるべきこと|定義|
|--|--|
|状態（$s$）の定義| $C$ のうちこれまでに見た桁で使ったもの|
|遷移|$f(s,d,k) = \\left\\{\\begin{array}{ll}s \cup \\{d\\} & (d \\in C)\\\\s & (Otherwise)\\end{array}\\right.$|
|寄与|$g(s,d,k) = d\times 10^{k}$|
|初期状態|$s=\\phi$|
|最終状態の条件|$s=C$|


## 問題例 5
<a href = "https://atcoder.jp/contests/joi2012yo/tasks/joi2012yo_f">JOI 2012 Qual-F</a> ジグザグ数
<a href = "https://atcoder.jp/contests/joi2012yo/submissions/45201685">AC Code</a>


#### 問題概要

$A$ 以上 $B$ 以下の整数のうち、 $10$ 進法で表したときに桁の数字がジグザグになっているもの（増加・減少が交互に起こるもの）の総和を求めよ。

#### 解法

|決めるべきこと|定義|
|--|--|
|状態（$s$）の定義|最後に使った数字（ただし、初期状態および条件を満たさなくなったものは特殊状態としてそれぞれ $-2$、$-1$ とする）|
|遷移|$f(s,d,k) = \\left\\{\\begin{array}{ll}d & (ジグザグ条件を満たすとき)\\\\-1 & (Otherwise)\\end{array}\\right.$|
|寄与|$g(s,d,k) = d\times 10^{k}$|
|初期状態|$s=-2$|
|最終状態の条件|$s\\geq 0$|

実装の際の注意・工夫
- ジグザグの種類（偶数桁目で増えるか奇数桁目で増えるか）の $2$ 種類を別々に足す方法もある。その場合は $1$ 桁のものを $2$ 回カウントしてしまうので注意
- 求める対象が $A$ 以上 $B$ 以下なので、 $calc(B) - calc(A-1)$ のようにする。


## 問題例 6

<a href = "https://atcoder.jp/contests/abc208/tasks/abc208_e">ABC208-E</a> Digit Products
<a href = "https://atcoder.jp/contests/abc208/submissions/45197535">AC Code</a>
$10$ 進法
Leading Zero考慮あり

|決めるべきこと|定義|
|--|--|
|状態（$s$）の定義|これまでに使った数字の積|
|遷移|$f(s,d,k) = s\times d$|
|寄与|n/a（個数のみ）|
|初期状態|$s=1$|
|最終状態の条件|$s\\leq K$|

- 本問では、状態の種類は大きくないが、 $s$ 自体は大きくなり得るので、辞書などで管理すると良いです。


# まとめ

:::note

- 「$N$ 以下の正整数のうち○○を満たすものについて、△△の和を求めてください」という形式の問題のうち、○○または△△に桁依存の要素を含む問題では桁 DP が使えることがある
- 桁 DP の問題では、 $N$ との大小・一致を表すフラグと問題固有の分類による状態を管理する必要がある
- 前者の遷移は問題によらず同じ。上の桁から見る方法と下の桁から見る方法があるが、上からの方が遷移が少なく定数倍が良い
- 後者の遷移は問題ごとに異なるので与える必要がある
- ①状態の遷移・②寄与・③初期状態・④最終状態の条件、の $4$ つを設定すれば問題が解ける

:::


<!-- あとで考える
## 問題例 N/A

<a href = "https://atcoder.jp/contests/abc194/tasks/abc194_f">ABC194-F</a>
$16$ 進法
Leading Zero考慮あり
これは使えなさそう
-->

<!-- あとで考える
## 問題例 N/A

複数変数に対応すればできるかも
<a href = "https://atcoder.jp/contests/abc317/tasks/abc317_f">ABC317-F</a> Nim
$2$ 進法
$3$ 変数
-->

<!-- あとで考える
## 問題例 3

<a href = "https://atcoder.jp/contests/abc138/tasks/abc138_f">ABC138-F</a> Coincidence
$2$ 進法
$\mathrm{XOR}$ による定義
-->

<!-- あとで考える
## 問題例 3

<a href = "https://atcoder.jp/contests/abc251/tasks/abc251_h">ABC251-H</a>
<a href = "https://twitter.com/kiri8128/status/1664301101552926721">ツイート</a> に桁 DP って書いてあるけどどう使ったか忘れた
-->

<!-- あとで考える
## 問題例 3

<a href = "https://atcoder.jp/contests/code-festival-2014-quala/tasks/code_festival_qualA_d">CODE FESTIVAL 2014 Qual A-D</a> 壊れた電卓

<a href = "">HOGE</a>
<a href = "">HOGE</a>
<a href = "">HOGE</a>
-->




<!-- これはたぶんいらない

<b><font color="red">---------- あとで消す ここから ----------</font></b>
`DP[k][0][state]` ： $k$ 番目の桁まで見たときに、上から $k$ 桁までが $N$ とぴったり一致していて、状態が `state` であるもの
`DP[k][1][state]` ： $k$ 番目の桁まで見たときに、上から $k$ 桁までが $N$ より真に小さく、状態が `state` であるもの
<b><font color="red">---------- あとで消す ここまで ----------</font></b>


<b><font color="red">---------- あとで消す ここから ----------</font></b>
`DP[k][0][state]` ： $k$ 番目の桁まで見たときに、下から $k$ 桁までが $N$ の下から $k$ 桁まで以下であり、状態が `state` であるもの
`DP[k][1][state]` ： $k$ 番目の桁まで見たときに、下から $k$ 桁までが $N$ の下から $k$ 桁までより真に大きく、状態が `state` であるもの
<b><font color="red">---------- あとで消す ここまで ----------</font></b>

<b><font color="red">---------- あとで消す ここから ----------</font></b>
前者を <b><font color="red">「大小状態」</font></b> 、後者を <b><font color="red">「分類状態」</font></b> と言うことにします。大小状態は $1$ または $1$ で表されます。分類状態すべての集合を $S$ とします。
<b><font color="red">---------- あとで消す ここまで ----------</font></b>


<b><font color="red">---------- あとで消す ここから ----------</font></b>
1. カウントの計算
$c' = g(s, d, k, c)$
基本的には、遷移先に対して $c' = c$ です。
<b><font color="red">---------- あとで消す ここまで ----------</font></b>

$
cnt(k,\ \mathrm{calc\\_flg}(k, d, t),\ f(s, d, k)) = cnt(prev\\_k,\ flg,\ s)
$
$
dp(k,\ \mathrm{calc\\_flg}(k, d, t),\ f(s, d, k)) = g(s, d, k, c, dp(prev\\_k,\ flg,\ s))
$

-->