アーバンデータチャレンジ2018アプリケーション部門（エントリー番号１７７）

神エクセル解決アプリ「Excel→CSV直行便」説明資料
単なる変換に非ず。オープンデータを促進し業務革新に誘う導火線ツール

2019年1月25日

長野大学前川道博ゼミ
本資料は、クリエイティブ・コモンズ 表示4.0 国際 (CC BY 4.0) に従って利用できます。
(http://creativecommons.org/licenses/by/4.0/legalcode.ja)

アプリ「Excel→CSV直行便」概要• 統計Excelデータを機械可読なCSVに変換するアプリ（主開発者：祝明帥）• 統計現場の悩みを解決しExcelデータをCSVに一括変換し、オープンデータ推進を支援。業務フローの改善を視野に入れて目の前の課題を解決。
• 地元自治体の業務も分析し、アプリによる解決策を導出「Excel→CSV直行便」機能•Excel統計ファイルをCSVファイルに一括変換•結合セルの見出し行・見出し列を機械可読な見出し１行・１列に整形

結合セルによる見出し行・見出し列

一括変換

結合セルによる
見出しを見出し行・見出し列
１行・１列に整形

現行版(ver.2019-0125)は、変換の精度に課題があり、うまく変換に適合できないケースがあります。変換後データは利用者のチェック修正の上でご利用ください。

「Excel→CSV直行便」使い方【アプリの使い方・統計ファイルごと】
Excel統計ファイルをツールのウィンドウ中央にドラッグ＆ドロップします。
同時に処理するのは１ファイルのみです。
格納フォルダ

統計Excelファイル

excel2csv.exe

ワークシート(複数)CSVファイル(ワークシートごと)

複数ワークシート
ここにExcelファイルをドラッグ＆ドロップする【アプリの使い方・一括処理】

全ファイルに対応したCSV

Excel統計ファイルを一括処理します。
files.txt(Excelファイル名リスト)
20110607152.xls
20110607153.xls
20110607154.xls
20110607155.xls
setai_jinko.xls

全ての統計Excelファイル

all2all.exe
1)処理するExcelファイルと同じフォルダにall2all.exeを置く。
2)処理するExcelファイル名をfiles.txtにリストアップし保存する。
3)プログラムを実行する。
4)終わるまで待つ。

アプリ＆情報提供サイト「統計オープンデータへのいざない」
信州デジタルコモンズ「統計オープンデータへのいざない」
https://www.mmdb.net/sdc/tokei/

アプリ「Excel→CSV直行便」の提供もこちらから

信州デジタルコモンズ：
地域（信州）のあらゆデータを横断的に包摂するサービス
長野大学前川研究室＆ゼミが中心となり運営
地域の方々と協働で地域課題解決に活かしている
オープンデータ、参加型アーカイブのコモンズとしての運用を拡大する方向アプリ「Excel→CSV直行便」の開発とメンテ
ソースプログラムはgitHubに公開
開発言語：python
https://github.com/Tanukium/msemi
https://www.mmdb.net/sdc/tokei/
アプリ「Excel→CSV直行便」の提供もこちらから開発とメンテの課題
継続して変換精度の向上、使いやすい補完ツールの開発に取り組んでいく
開発者の学生が卒業のため、後続のサポート方法を導きたい学生が学習しながらの開発のため、能力的な面でも継続的な開発には限界がある
今後、広く開発できる方々と連携をし、発展的に広がる可能性を選びたい大きな障壁「紙文化」と「神エクセル」•統計資料作成がアウトプットの業務フロー
ついでにネットにも印刷物版下作成
統計資料

手作業変換

主にExcel, PDF
CSVはちょっとだけ

問題点 ①統計データは印刷のために整形されている②業務フローにマスタがなくその都度の対応

統計データこそまさに「神エクセル」• 神エクセルとは– Excelで文書整形がされている、統計表はその権化– 結合セルは機械可読を妨げる• 統計担当は「神エクセル」の慣習が問題だと気づけない• オープンデータ化はCSV化すること。一括で変換したいさらなる問題「オープンデータ化せよ」の重圧• 「オープンデータ化せよ」→何をしたらいいのかわからず困惑• 全国の都道府県、市町村どこも似たように困り切っている• さしあたり「統計データ」をオープンデータ化しようと発想する• 手作業で少しCSVにして対処していることにせざるを得ない• 根本的な問題は全く何も解決しない昨今の状況
オープンデータ化の要求と対極の無関心•オープンデータ化の政策的推進– 官民データ活用推進基本法•データ流通の拡大•社会の知識基盤化の進展– 旧来の業務スタイル・慣習– ＩＣＴの普及による情報授受文化の進展– まだ圧倒的に多い「無関心」「わからない」層

統計の実態の疑問•統計調査はどの程度、どう役立っているか•統計資料はどれぐらい参照されているか•統計データは何に役立つのか•統計データは誰が使うのか•どうすると統計データはもっと活用されるか•統計をオープンデータにするメリットがわからないという大方の受け止め

統計のオープンデータ化への期待度

統計への期待度はそれなりに高い

出典「公共データの産業利用に関する調査結果」（2013年、日本経済団体連合会）

http://www.keidanren.or.jp/policy/2013/020_honbun.pdf

前川研究室＆ゼミの取り組み
メディア環境「信州デジタルコモンズ」試行
地域デジタル知識基盤プラットフォームのコモンズ（知識・データの共有地）
多様なデジタルアーカイブ群の包摂プラットフォーム

信州デジタルコモンズ
みんなで共有できるネット上の本棚
信州学の学（知識）と学び（学習プロセスと成果）を載せ合える「ネット上の本棚」
統計も各地域ごとにオープンデータにして

当事者になって統計データを使ってみると
上田城跡・観光者数の推移を知りたい•上田市統計にはなし•「長野県の統計情報」掲載の「観光地利用者統計調査」各年データ•問題：たった１スポットの観光者数を調べるだけなのに、年別ファイルから逐一データを取り出す必要があり大変手間がかかる。あえて調べようとは思わない。

上田城跡公園・観光者数推移
Ｑ：戦国無双＆BASARA、『真田丸』の影響を知りたい

簡単なことでも調べるのに手間がかかるオープンデータ化の卑近な課題•過去のオープンデータデイで– 上田市統計データを手作業でCSVにし、LinkDataに登録– 上田市職員と一緒に課題を検討

根性いるわ！

生みの苦しみ• 階層的な見出し行列と結合セルの処理が作業効率を阻む• 力作業でやれることには限界がある• これでは本当の問題解決にはつながらない

上田市統計担当とゼミで課題検討•上田市の統計業務の実情をヒアリングし、解決策を一緒に探る長野県内自治体職員向け統計オープンデータ講座でアプリ「Excel→CSV直行便」を試供• 2019/01/11(金)実施• アーバンデータチャレンジ長野ブロックイベントとして開催• 長野市のGEEKLAB.NAGANOのコラボで実施• 統計担当者など９名が参加参加者からの評価、感想• アプリの実用度評価：1.大いに使える 2名 2.それなりに使える 4名 3.どちらともいえな
い 1名 4.あまり使えない 0名 5.使えない 0名• 大変便利なシステムを開発することに着眼されたことに感謝いたします。
• 今後精度を上げていただくことでより使いやすいツールになると感じました。
• 具体的なソフトや操作をさせていただいたことで、オープンデータについて身近に感じられるようになりました。

人が読みやすいデータ 統計データ
入れ子の表（結合セル）

機械が読みやすいデータ

入れ子でない表（セマンティックウェブ）
単純なテキストデータ
テキストなので扱いがとっても簡単
実はExcelで読んでデータ処理しやすい機械判読可能なデータ
人が読みやすいデータ
わざわざオープンデータに変換機械（プログラム）が読みやすいデータ
慣れれば人にとっても扱いやすい！
テキストのデータ作りはずっと簡単！

統計データの大まかな構成パターン
データ構造の分析•大きくは次の３パターンである
表データ

ＣＳＶ変換の対象

グラフ混在

説明（テキスト）

望ましくはグラ
フ・表を単体データに分離する

統計データの構造
表データの構成パターン•大きくは次の４パターンである
A. 単一型(数値)C. イテレート(横反復)型
表1 表2 表3 …

B. 単一型(テキスト)

D. イテレート(縦反復)型
表1

A.

B. はともに構造的には同じではあるが、データ行がテキストの場合、見出し列かどうかの識別がしにくい。

表2…

イテレート型の本来の構造は？
C. イテレート(横反復)型
表1 表2 …

印刷物の制約により、横反復するケース
a.縦反復は見出し列に横反復の項目を見出し列に加える形で変換できる
b.連続型はデータ行を単純に単一型の表に変換する

a. 縦反復型

b. 連続型

表1表1

表2

表2…

…

表データの構成パターン
ヘッダ部（タイトル部）

見出し行

データ行

見出し列

フッタ部

イタレート型
上田市大字別人口・世帯統計
上田市自治会別人口・世帯統計
ファイル：年次 2015～ 表：月次

表１が上田地域、表２が丸子・真田・武石地域
それぞれ１枚に収めるため、横３列に整列させている▼表単位変換Ａ１Ａ２

Ａ３

Ａ１Ａ２Ａ３▼通し変換

年月

2015.1
2015.22018.1
2018.2

ＤＢ
マスタデータイタレート(ブロック漸移)型
年別統計：104 法規別労働組合数及び組合員数
年別統計：104 法規別労働組合数及び組合員数
ファイル：年次 2015～ 表：月次

年度ブロックが年毎に右側に漸移していくパターン
データは年度をブロック抽出し通し変換では差分を追加する▼通し変換▼表単位変換Ａ１Ａ
２Ａ Ａ
３ ４Ａ５年度

Ａ１Ａ２Ａ３Ａ４Ａ５年度昭和58昭和59昭和60
昭和61
年度をブロック抽出

ＤＢマスタデータ

複数表かつイタレート型
上田市自治会別人口・世帯統計
上田市自治会別人口・世帯統計
ファイル：年次 2015～ 表：月次

表１が上田地域、表２が丸子・真田・武石地域
それぞれ１枚に収めるため、横３列に整列させている▼表単位変換

Ａ１

Ｂ１

Ａ２

Ｂ２

Ａ３

Ｂ３

Ａ１Ａ２Ａ３
Ｂ１
Ｂ２
Ｂ３

▼通し変換

年月

2015.1
2015.22018.1
2018.2

ＤＢマスタデータ標準型(行漸移型)
年別統計：XX06 56 簡易保険の取り扱い状況
年別統計：XX06 56 簡易保険の取り扱い状況
ファイル：年次 1972～ 表：年次

直近の５年度分を合計値で、続けて最新年度の郵便局別データを掲載▼表単位変換

Ａ１

▼通し変換

Ａ１
Ａ２
Ａ３

年
月

2015.1
2015.22018.1
2018.2

ＤＢ
マスタデータ神エクセル問題はどう解決できるか• さしあたり「統計データ」のアプリでExcelをCSVに一括変換• 公開し当面のオープンデータの要請に応えていただく• しかし、根本の問題解決を図る必要がある– 神エクセルによる業務の非効率は一目瞭然– アプリ適用で手間をかけずに変われることを認識していただくことが先決– ＣＳＶができると次はデータベースでデータがマスタ管理できるようになる

統計業務の業務分析（将来は革新）
オープンデータ化は業務イノベーションの導火線

まずは神エクセル対策：ExcelをCSVにアプリ適用でCSVを自動生成するのが第一歩

行政の統計データの一括処理手順
プログラムを介在させ、極力手作業を排して省力化、質の確保を図る。
公開の統計サイト(CC-BY)
Excel
一括転送

ファイル名
修正(手作業)

Excel
リスト作成

オープンデータ
公開サイト(CC-BY)
Excel
→CSV
一括変換

統計Excelファイル

CSV公開

データ
修正(手作業)

CSVファイル(ワークシート別)
DB公開ＤＢ
マスタデータツール１：統計データ取得
オープンデータ化(CSV化）する統計Excelファイル情報とファイルを取得する
公開の統計サイト(CC-BY)

Excelファイルリスト（取得直後）
統計デー
タ取得

Excelファイルリスト（編集後）

ファイル名
修正(手作業)

Excel
一括転送

https://mmdb.net/sdc/tokei/
Excelの全ファイルのリストをCSV形式でＧＥＴする

Excelファイルリスト（取得直後）

統計データ取得
統計サイトのURLを入力してください

Excel等でファイルの日本語タイトルを正しく記述し保存する
レ 統計Excelリストを作成する
レ

Excelファイルを一括転送する

Excelファイル一式(ダウンロード)

Excelファイルリスト（編集後）ツール２：Excel→CSV変換
Excelファイル全ての統計データ(ワークシート)をCSVに一括変換する

Excel→CSV
一括変換

統計Excelファイル

データ
修正(手作業)

CSVファイル(ワークシート別)

CSVデータリスト（処理直後）

Excelファイル一式(ダウンロード)

Ｅｘｃｅｌ→CSV一括変換

ツール

Excel等で統計表(CSVファイル)の日本語タイトルを正しく記述し保存する
CSVデータリスト（編集後）

ドラッグ＆ドロップ
Excelファイルごとに統計表(ワークシート)をCSVに変換する
統計表CSVファイル(ワークシート別)

ツール３：オープンデータ公開
統計データ（CSVファイル）を取捨選択し統計データサイトに公開する
CSVデータリスト（編集後）

オープンデータ
公開サイト(CC-BY)

CSV公開

CSVファイル(ワークシート別)
https://mmdb.net/sdc/tokei/

統計データ公開
CSVデータリストを選択してください

レ CSVデータを一括転送する
レ

Excelファイルも一括転送する

CCライセンス

ＣＣ－ＢＹ

https://mmdb.net/sdc/tokei/

統計データ公開サイト
上田市の統計データ（オープンデータ）

メニューから閲覧・検索・ダウ
ンロード等を選択して利用する

ツール4：今後の拡充
統計データをみんなで面白がれるデータに育て活用する
CSVデータリスト（編集後）

オープンデータ
公開サイト(CC-BY)
DB公開
データ正規化ＤＢ
マスタデータCSVファイル(ワークシート別)
https://mmdb.net/sdc/tokei/

CSVファイル(ワークシート別)

統計データ公開サイト
ＤＢ
マスタデータ

表を集約、データを正規化しマスタ化する

上田市の統計データ（オープンデータ）

メニューから閲覧・検索・ダウンロード等を選択して利用する

統計データを処理
して地域の特性や状況を知り、みんなで面白がれるデータに育てるツール５：さらに進めて業務イノベーション
従来の各種報告書はマスタデータから自動処理で作成するこういう機械的な業務こそコンピュータに処理させよう！

Excel→CSV一括変換
統計Excelファイル

Excel→CSV
一括変換

複数ワークシート

CSVファイル(ワークシート別)

オープンデータ化の２ケース
統計データ

大変
手作
業変換

ほんのちょっとa little
徒労？
学習と思えば意義がある▼大幅な作業効率化を図り、担当者は本来の業務に専念する

どっさり
many many

統計データ
自動変換

ＤＢ
マスタデータ常時公開

ネットで閲覧・活用

統計のオープンデータ化の進む方向
CSVへの手作業変換
ＯＤとは何ぞやを学習
CSVの一括自動変換
当面のニーズに応える2018年度

データベース化によるデータ活用への踏み出し

2019年度

統合化されたデジタルコ
モンズでの横断的活用

2020年度統計オープンデータの意義•民間・企業とのコラボ

経済誘導•統計業務の手間を減らす

事務合理化•見て面白がる・発見
interestの誘発

教育•データを収集分析・
シミュレーション

政策立案

オープンデータ化：当面の進め方
市町村ホームページ
Excelファイル

CC-BY

CC-BY
ネットで活用

自動変換

いくつかのデータを試験的に変換ツールの改善一括
登録

ＤＢ
マスタデータ常時公開「信州デジタルコモンズ」
サイトに乗せ換え

多数のデータを一覧化

・一括選択
・対応パターンの拡充

民間・大学等の力を活かして実のある取り組みを！