「gawkで基本 統計(49)量を計算する」をdocker(79)で

gawkで基本統計量を計算する
https://qiita.com/EjiriAkira/items/e92e919bb9ee1c52b7ae

をdockerで利用してみた。

それだけでは芸がない。自分のデータで分析もしてみる。

スクリプトの１つが、ファイル名固定になっているのに手を入れ、ファイル入力する方式にした。

```shell:bas.sh
#!/bin/bash
# https://qiita.com/EjiriAkira/items/e92e919bb9ee1c52b7ae
# https://qiita.com/kaizen_nagoya/items/c362cb343a412fe12d46
. ./basic_statistics.sh
IFS=',' read n min max med ave sum svar uvar ssd usd skew kurt text <<< $(calc_basic_statistics $1)
echo "=============================="
printf "n = %d\n" ${n}
printf "min = %G\n" ${min}
printf "max = %G\n" ${max}
printf "med = %G\n" ${med}
printf "ave = %G\n" ${ave}
printf "sum = %G\n" ${sum}
printf "svar = %G\n" ${svar}
printf "uvar = %G\n" ${uvar}
printf "ssd = %G\n" ${ssd}
printf "usd = %G\n" ${usd}
printf "skew = %G\n" ${skew}
printf "kurt = %G\n" ${kurt}
echo "=============================="
printf "${text}"
echo "=============================="
echo -n -e "${text}"
```
上記ファイルで$1のところ。

データは自分のqiitaの書き込みの２０件ごとのいいねの数の分布を用いた。

```txt:d50.txt
14
5
6
15
13
6
8
9
8
6
8
9
12
15
14
13
10
15
11
7
15
12
10
10
6
9
9
8
6
4
6
6
11
8
14
15
12
14
10
10
5
8
12
12
15
11
11
7
14
12
```
25までのデータ、１２までのデータファイルも用意。


```
# ./bas.sh d12.txt
==============================
n = 12
min = 5
max = 15
med = 8
ave = 8.91667
sum = 107
svar = 10.2431
uvar = 11.1742
ssd = 3.20048
usd = 3.34279
skew = 0.840341
kurt = -0.537908
==============================
n=12
min=5
max=15
med=8
ave=8.91667
sum=107
svar=10.2431
uvar=11.1742
ssd=3.20048
usd=3.34279
skew=0.840341
kurt=-0.537908
==============================
n=12
min=5
max=15
med=8
ave=8.91667
sum=107
svar=10.2431
uvar=11.1742
ssd=3.20048
usd=3.34279
skew=0.840341
kurt=-0.537908
# ./bas.sh d25.txt
==============================
n = 25
min = 5
max = 15
med = 10
ave = 10.28
sum = 257
svar = 10.7616
uvar = 11.21
ssd = 3.28049
usd = 3.34813
skew = 0.0464061
kurt = -1.36321
==============================
n=25
min=5
max=15
med=10
ave=10.28
sum=257
svar=10.7616
uvar=11.21
ssd=3.28049
usd=3.34813
skew=0.0464061
kurt=-1.36321
==============================
n=25
min=5
max=15
med=10
ave=10.28
sum=257
svar=10.7616
uvar=11.21
ssd=3.28049
usd=3.34813
skew=0.0464061
kurt=-1.36321
# ./bas.sh d50.txt
==============================
n = 50
min = 4
max = 15
med = 10
ave = 10.12
sum = 506
svar = 10.3856
uvar = 10.5976
ssd = 3.22267
usd = 3.25539
skew = -0.0191191
kurt = -1.16719
==============================
n=50
min=4
max=15
med=10
ave=10.12
sum=506
svar=10.3856
uvar=10.5976
ssd=3.22267
usd=3.25539
skew=-0.0191191
kurt=-1.16719
==============================
n=50
min=4
max=15
med=10
ave=10.12
sum=506
svar=10.3856
uvar=10.5976
ssd=3.22267
usd=3.25539
skew=-0.0191191
kurt=-1.16719
```
#docker

起動は

```shell-session
$ docker run -it kaizenjapan/gawk -bin/bash
```
で利用できる。dockerに入ったら、


```shell-session:docker/ubuntu
# cd /home/awk
```


#Excelとの比較


エクセルでの結果は

|  | 50 |  |25  |  | 12 |
|:--|--:|:--|--:|:--|--:|
|  | 14 |  |  |  |  |
|  | 5 |  |  |  |  |
|  | 6 |  |  |  |  |
|  | 15 |  |  |  |  |
|  | 13 |  |  |  |  |
|  | 6 |  |  |  |  |
|  | 8 |  |  |  |  |
|  | 9 |  |  |  |  |
|  | 8 |  |  |  |  |
|  | 6 |  |  |  |  |
|  | 8 |  |  |  |  |
|  | 9 |  |  |  |  |
|  | 12 |  |  |  |  |
|  | 15 |  |  |  |  |
|  | 14 |  |  |  |  |
|  | 13 |  |  |  |  |
|  | 10 |  |  |  |  |
|  | 15 |  |  |  |  |
|  | 11 |  |  |  |  |
|  | 7 |  |  |  |  |
|  | 15 |  |  |  |  |
|  | 12 |  |  |  |  |
|  | 10 |  |  |  |  |
|  | 10 |  |  |  |  |
|  | 6 |  |  |  |  |
|  | 9 |  | 14 |  |  |
|  | 9 |  | 5 |  |  |
|  | 8 |  | 6 |  |  |
|  | 6 |  | 15 |  |  |
|  | 4 |  | 13 |  |  |
|  | 6 |  | 6 |  |  |
|  | 6 |  | 8 |  |  |
|  | 11 |  | 9 |  |  |
|  | 8 |  | 8 |  |  |
|  | 14 |  | 6 |  |  |
|  | 15 |  | 8 |  |  |
|  | 12 |  | 9 |  |  |
|  | 14 |  | 12 |  |  |
|  | 10 |  | 15 |  | 14 |
|  | 10 |  | 14 |  | 5 |
|  | 5 |  | 13 |  | 6 |
|  | 8 |  | 10 |  | 15 |
|  | 12 |  | 15 |  | 13 |
|  | 12 |  | 11 |  | 6 |
|  | 15 |  | 7 |  | 8 |
|  | 11 |  | 15 |  | 9 |
|  | 11 |  | 12 |  | 8 |
|  | 7 |  | 10 |  | 6 |
|  | 14 |  | 10 |  | 8 |
|  | 12 |  | 6 |  | 9 |
| 合計 | 506 | 合計 | 257 | 合計 | 107 |
| 平均 | 10.12 | 平均 | 10.28 | 平均 | 8.916666667 |
| 範囲 | 11 | 範囲 | 10 | 範囲 | 10 |
| 最小 | 4 | 最小 | 5 | 最小 | 5 |
| 最大 | 15 | 最大 | 15 | 最大 | 15 |
| 標準誤差 | 0.45575432 | 標準誤差 | 0.656097554 | 標準誤差 | 0.923898243 |
| 中央値 | 10 | 中央値 | 10 | 中央値 | 8 |
| 最頻値 | 6 | 最頻値 | 6 | 最頻値 | 6 |
| 標準偏差 | 3.222669701 | 標準偏差 | 3.280487769 | 標準偏差 | 3.200477395 |
| 分散 | 10.3856 | 分散 | 10.7616 | 分散 | 10.24305556 |
| 尖度 | -1.167191039 | 尖度 | -1.36321223 | 尖度 | -0.537907774 |
| 歪度 | -0.01911908 | 歪度 | 0.046406059 | 歪度 | 0.840341472 |

元資料に記載がみあたらない計算式は

範囲　=MAX(B1:B50)-MIN(B1:B50)
標準誤差 =STDEVP(B1:B50)/SQRT(COUNT(B1:B50))


#考察
記事のいいねがついている数の範囲にぶれがあまりない。２０づつのまとまりごとに、１２、２５、５０を比べているから見えた現象の可能性がある。まとまりを変えると違う現象が見えてくるかもしれない。

６から９がつづいたり、１０以上がつづいたりのぶれがあり、この周期による影響もあるかもしれない。

いいねがついた記事を先に追記するため、いいねがつかなかった記事はなかなか良くならないという傾向がある。
１００viewsでいいねがついていない記事は追記するようにしている。
いいねがついた記事への追記を優先させているかもしれない。

平均より中央値が低く、最頻値がもっと低いのは、ときどき突出した数値を叩き出すものがある分類によくある現象。



Qiita(6)行動分類
https://qiita.com/kaizen_nagoya/items/dc683fc6c054e3c187df
Qiita(7)投稿
https://qiita.com/kaizen_nagoya/items/456b8d0d27806543615b
Qiita(8)週５回の確認作業の流れ
https://qiita.com/kaizen_nagoya/items/592e5eed915fbbc3e0ff
Qiita(11)「Qiitaいいな〜自分のいいね分析」自分版
https://qiita.com/kaizen_nagoya/items/11955909b0302d9ba999
Qiita(13)なぜ少しづつQiitaの記事を追記しているか
https://qiita.com/kaizen_nagoya/items/fa8b102a92d094437416

Qiita(16)Qiita記事　いいね と views の関係
https://qiita.com/kaizen_nagoya/items/d30240b2a9adec288ca

Qiita(18)記事を書くときに注意していること
https://qiita.com/kaizen_nagoya/items/3a6e08309231aa05fb27
Qiita(23)書きかけの項目の一覧を書きかけ
https://qiita.com/kaizen_nagoya/items/45db8672c1081c1e78e1

Qiita(27)views一覧を作るまで(第一日目)
https://qiita.com/kaizen_nagoya/items/7de46ac898e776834605Qiita(35) Qiita: いいね, follow, follower, ストック, views
https://qiita.com/kaizen_nagoya/items/1f0c56ebd05c5495f72e

# 参考資料
エクセルでの標準誤差の計算方法
http://www.ipc.shimane-u.ac.jp/food/kobayasi/se_excel.html

>=stdev(データ範囲)/sqrt(count(データ範囲))


標準誤差の計算
http://hp.brs.nihon-u.ac.jp/~kaki/dat_arr_xls_se.html

>=stdevp(データ範囲)/sqrt(count(データ範囲))

【Excel】エクセルで標準誤差を計算する方法　標準誤差と標準偏差との違い
http://kenkou888.com/category13/excel_hyoujungosa.html

>データそのものの標準偏差を求めるために、STDEVP関数を使用します。なお、STDEV関数やSTDEV.S関数は標本から母集団の標準偏差を予想するときにします。

## 一覧
物理記事　上位100
https://qiita.com/kaizen_nagoya/items/66e90fe31fbe3facc6ff

量子(0) 計算機, 量子力学 
https://qiita.com/kaizen_nagoya/items/1cd954cb0eed92879fd4

数学関連記事１００
https://qiita.com/kaizen_nagoya/items/d8dadb49a6397e854c6d

言語・文学記事　１００
https://qiita.com/kaizen_nagoya/items/42d58d5ef7fb53c407d6

医工連携関連記事一覧
https://qiita.com/kaizen_nagoya/items/6ab51c12ba51bc260a82

自動車　記事　１００
https://qiita.com/kaizen_nagoya/items/f7f0b9ab36569ad409c5

通信記事１００
https://qiita.com/kaizen_nagoya/items/1d67de5e1cd207b05ef7

日本語（０）一欄
https://qiita.com/kaizen_nagoya/items/7498dcfa3a9ba7fd1e68

英語(0) 一覧
https://qiita.com/kaizen_nagoya/items/680e3f5cbf9430486c7d

転職(0)一覧
https://qiita.com/kaizen_nagoya/items/f77520d378d33451d6fe

仮説（0）一覧（目標100現在40）
https://qiita.com/kaizen_nagoya/items/f000506fe1837b3590df

Qiita(0)Qiita関連記事一覧（自分）
https://qiita.com/kaizen_nagoya/items/58db5fbf036b28e9dfa6

鉄道（０）鉄道のシステム考察はてっちゃんがてつだってくれる
https://qiita.com/kaizen_nagoya/items/26bda595f341a27901a0

安全（0）安全工学シンポジウムに向けて: 21
https://qiita.com/kaizen_nagoya/items/c5d78f3def8195cb2409

一覧の一覧( The directory of directories of mine.) Qiita(100)
https://qiita.com/kaizen_nagoya/items/7eb0e006543886138f39

Ethernet 記事一覧　Ethernet(0)
https://qiita.com/kaizen_nagoya/items/88d35e99f74aefc98794

Wireshark 一覧 wireshark(0)、Ethernet(48) 
https://qiita.com/kaizen_nagoya/items/fbed841f61875c4731d0

線網（Wi-Fi）空中線(antenna)(0) 記事一覧(118/300目標)
https://qiita.com/kaizen_nagoya/items/5e5464ac2b24bd4cd001

OSEK OS設計の基礎　OSEK(100)
https://qiita.com/kaizen_nagoya/items/7528a22a14242d2d58a3

Error一覧 error(0)
https://qiita.com/kaizen_nagoya/items/48b6cbc8d68eae2c42b8

プログラマによる、プログラマのための、統計(0)と確率のプログラミングとその後
https://qiita.com/kaizen_nagoya/items/6e9897eb641268766909

官公庁・学校・公的団体（NPOを含む）システムの課題、官（０）
https://qiita.com/kaizen_nagoya/items/04ee6eaf7ec13d3af4c3

「はじめての」シリーズ　 ベクタージャパン　
https://qiita.com/kaizen_nagoya/items/2e41634f6e21a3cf74eb

AUTOSAR(0)Qiita記事一覧, OSEK(75)
https://qiita.com/kaizen_nagoya/items/89c07961b59a8754c869

プログラマが知っていると良い「公序良俗」
https://qiita.com/kaizen_nagoya/items/9fe7c0dfac2fbd77a945

LaTeX(0) 一覧　
https://qiita.com/kaizen_nagoya/items/e3f7dafacab58c499792

自動制御、制御工学一覧（０）
https://qiita.com/kaizen_nagoya/items/7767a4e19a6ae1479e6b

Rust(0) 一覧　
https://qiita.com/kaizen_nagoya/items/5e8bb080ba6ca0281927

小川清最終講義、最終講義（再）計画, Ethernet(100) 英語(100) 安全(100)
https://qiita.com/kaizen_nagoya/items/e2df642e3951e35e6a53

＜この記事は個人の過去の経験に基づく個人の感想です。現在所属する組織、業務とは関係がありません。＞
This article is an individual impression based on the individual's experience. It has nothing to do with the organization or business to which I currently belong.
### 文書履歴(document history)
ver. 0.01 初稿 20180829 朝
ver. 0.02 追記　20180829　午前
ver. 0.03 考察追記　20180829　午後
### 最後までおよみいただきありがとうございました。
いいね　💚、フォローをお願いします。
#### Thank you very much for reading to the last sentence.
Please press the like icon 💚　and follow me for your happy life.

<a href="https://b.hatena.ne.jp/entry/s/qiita.com/kaizen_nagoya/items/c362cb343a412fe12d46" class="hatena-bookmark-button" data-hatena-bookmark-layout="basic-label-counter" data-hatena-bookmark-lang="ja" title="このエントリーをはてなブックマークに追加"><img src="https://b.st-hatena.com/images/v4/public/entry-button/button-only@2x.png" alt="このエントリーをはてなブックマークに追加" width="20" height="20" style="border: none;" /></a><script type="text/javascript" src="https://b.st-hatena.com/js/bookmark_button.js" charset="utf-8" async="async"></script>
https://b.hatena.ne.jp/guide/bbutton