http://10.8.1.3/class/ 2026-05-09T20:59:25+00:00 http://10.8.1.3/class/ http://10.8.1.3/class/lib/exe/fetch.php?media=wiki:dokuwiki.svg text/html 2024-09-09T05:31:33+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:dataset&rev=1725859893&do=diff 【データリテラシー】データセット データセット1 * ダウンロード：dataset1.csv * 文字コード：Shift_JIS コンピュータの乱数で生成した架空のデータセットで、ある架空の母集団から500人の標本抽出を仮定している（標本サイズ $n=500$$p=0.5$$N(171,5.5^{2})$$N(157,5.0^{2})$$\Lambda(4.10,0.14)$$\Lambda(3.95,0.13)$$n=500$$N(98,30^{2})$ text/html 2024-09-10T06:30:50+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:estimation&rev=1725949850&do=diff 推定 区間推定の導出 $\mathrm{N}(\mu,\sigma^{2}/n)$ に従う $\bar{X}$ を標準化すると \[ Z=\frac{\bar{X}-\mu}{\sigma/\sqrt{n}} \] は $\mathrm{N}(0,1)$ に従う。 $Z_{\alpha/2}$ は確率と \[ P(-Z_{\alpha/2}\le Z\le Z_{\alpha/2})=1-\alpha \] という関係にある。 [標準正規分布の区間推定] かっこの中の不等式は標準化の式を使うと \[ -Z_{\alpha/2}\le \frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\le Z_{\alpha/2} \] となり、これを変形すると \[ \mu-Z_{\alpha/2}\frac{\sigma}{\sqrt{n}}\le \bar{X}\le \mu+Z_{\alpha/2}\frac{\sigma}{\sqrt{n}} \] となる。 したがって \[ P\left(\mu-Z_{\alpha/2}\frac{\sigma}{\sqrt… text/html 2024-09-10T06:28:14+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:ev&rev=1725949694&do=diff 期待値 期待値の定義 離散型確率変数の場合 離散型確率変数 $X$ のある関数を $g(X)$ としたとき、$g(X)$ の期待値 $E(g(X))$ は以下で定義される。 \[ E(g(X))=\sum_{i=1}^{n}g(x_{i})f(x_{i})\quad (X が離散型) \] $x$ のとりうる値 $x_{i}$ それぞれに対する $g(x_{i})$ に重み $f(x_{i})$ をかけて和をとる。$X$$g(X)$\[ E(g(X))=\int g(x)f(x)dx\quad (X が連続型) \]$c$$X$$g(X), h(X)$$X$\[ E(c)=c \]\[ E(g(X)+c)=E(g(X))+c \]\[ E(c\times g(X))=c\times E(g(X)) \]\[ E(g(x)+h(X))=E(g(X))+E(h(X)) \]$Z$\[ Z=\frac{X-\mu}{\sigma} \]\[ E(Z)=E\left(\frac{X-\mu}{\sigma}\right)=\frac{E(X)-\mu}{\sigma}=0 \]\[ E(… text/html 2024-09-09T05:32:08+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:lecture1&rev=1725859928&do=diff 【データリテラシー】第1回 社会におけるデータ・AI 利活用 今後のデジタル社会において、数理・データサイエンス・AI はすべての大学生が身につけておくべき素養だといわれている。 これらの基礎的素養を身につけ、大学の授業だけでなく、日常の生活、卒業後の仕事の場で使いこなすことができるようになるのが本講義の目的である。 text/html 2024-09-09T06:01:11+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:lecture1extra&rev=1725861671&do=diff 【データリテラシー】第1回 確認テスト 1. 社会で起きている変化 Q1-1. スマートフォンが普及するきっかけとなったiPhoneはどこが開発したか？ * Google * Apple * Facebook * Amazon.com Q1-2. ビッグデータとは一般的にどのようなデータを指すか？ text/html 2024-09-23T13:05:22+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:lecture2&rev=1727096722&do=diff 【データリテラシー】第2回 表計算ソフトの基本操作 表計算ソフトとは 表形式でデータを扱い様々な計算を行うアプリケーション（ソフトウェア）を表計算ソフト（Spreadsheet）という。 計算だけでなく、グラフを描いたり、マクロで作業を自動化することもできる。 表計算ソフトの代表的なものとしては Microsoft Excel や LibreOffice Calc などがある。$0,5,10,15,\cdots$ text/html 2024-09-23T13:13:48+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:lecture3&rev=1727097228&do=diff 【データリテラシー】第3回 セルの参照と集計 セルの参照 セルの参照とはセルの場所を列番号と行番号で指定してそのセルの値を参照することである。 セルの参照には相対参照と絶対参照$1+2$$5+4\times 3=5+12$$2^{10}\div 5=\frac{2^{10}}{5}=\frac{1024}{5}$$(5+4)\times 3=9\times 3$$2^{(10\div 5)}=2^2$$\le$$\ge$$\mathrm{A1\times B1+A2\times B2+A3\times B3}$$\mathrm{(A1-5)^{2}\times B1+(A2-5)^{2}\times B2+(A3-5)^{2}\times B3}$\[ \mathrm{GPA}=\frac{(各科目の\mathrm{GP}\times 単位数)の合計}{単位数の合計} \]\begin{eqnarray*} \mathrm{GPA}&=&\frac{2\times 2+1\times 2+4\times 2+4\times 2+3\times 2+2\times 2}{2+2+2… text/html 2024-09-09T05:34:15+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:lecture4&rev=1725860055&do=diff 【データリテラシー】第4回 度数分布表とヒストグラム データとは データとは何らかの実験・観測・調査を行って得られる観測値の集合である。 実験を行って記録したデータやアンケート調査で得られたデータで、集計などの加工を行う前のデータを$1$$22$$160.6$$2$$19$$171.6$$3$$21$$173.2$$\vdots$$\vdots$$\vdots$$\vdots$$x,y,z$$x_{1},x_{2},x_{3},\cdots$$i$$x$$y$$z$$1$$x_{1}$$y_{1}$$z_{1}$$2$$x_{2}$$y_{2}$$z_{2}$$3$$x_{3}$$y_{3}$$z_{3}$$\vdots$$\vdots$$\vdots$$\vdots$$1$$2$$3$$\cdots$$\cdots$$22$$19$$21$$\cdots$$160.6$$171.6$$173.2$$\cdots$$i$$l_{i}$$u_{i}$$v_{i}$$f_{i}$$F_{i}$$f_{i}/n$$i$$l_{i}$$u_{i}$$v_{i}$$f_{i}$$n$$F_… text/html 2024-09-09T05:34:48+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:lecture5&rev=1725860088&do=diff 【データリテラシー】第5回 代表値と散らばりの尺度 データの分布の特徴 ここではデータの分布の特徴を代表値と散らばりの尺度から数量的に読み取る方法について説明する。 変数について $x, y, z$$x_{1}, x_{2}, x_{3}, \cdots $$n$$x$$n$$x_{1}, x_{2}, x_{3}, \cdots, x_{n}$$\bar{x}$$x_{i}$$(i=1,2,\cdots,n)$$\bar{x}$\[ \bar{x}=\frac{x_{1}+x_{2}+\cdots+x_{n}}{n}=\frac{1}{n}\sum_{i=1}^{n}x_{i} \]$v_{i}$$f_{i}$$(i=1,2,\cdots,k)$\[ \bar{x}=\frac{v_{1}f_{1}+v_{2}f_{2}+\cdots+v_{k}f_{k}}{n}=\frac{1}{n}\sum_{i=1}^{k}v_{i}f_{i} \]\[ n=f_{1}+f_{2}+\cdots+f_{k}=\sum_{i=1}^{k}f_{i} \]$v_{1}$$f_{1}$$v_{… text/html 2025-09-19T05:59:14+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:lecture6&rev=1758261554&do=diff 【データリテラシー】第6回 データのグラフによる表現とデータの比較 データの分布の特徴 ここではデータの分布の特徴を可視化するために便利なグラフを扱う。 グラフの種類 グラフにはその用途に応じて様々な種類があるが、一般的によく使われるグラフは以下のグラフである。$Q_{2}$$Q_{1}$$Q_{3}$$Q_{0}$$Q_{4}$$Q_{2}$$Q_{0}$$Q_{1}$$Q_{2}$$Q_{3}$$Q_{4}$$Q_{0}$$Q_{1}$$Q_{1}$$Q_{3}$$Q_{3}$$Q_{4}$$1.5(Q_{3}-Q_{1})$… text/html 2024-09-24T02:46:30+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:lecture7&rev=1727145990&do=diff 【データリテラシー】第7回 データの分布と標本抽出 推測統計 ある集団について調べたいとき、その集団全体を調べることが難しい場合がある。 そのような場合、その集団から一部分だけを選び出して調べることで集団について推測を行うことができる。 これを$n$$A$$k$$A$$P(A)$\[ P(A)=\frac{k}{n} \]$1,2,3,4,5,6$$3$\[ P(3の目)=\frac{1}{6} \]$2, 3, 4$$2, 3, 4$\[ P(2, 3, 4 の目)=\frac{3}{6}=\frac{1}{2} \]$X$$x$\[ P(X=x) \]$a$$b$\[ P(a\le X\le b) \]$X$$X$$X$$1,2,3,4,5,6$$X$$1/6$\begin{eqnarray*} 1の目が出る確率\ P(X=1)&=&\frac{1}{6}\\ 2の目が出る確率\ P(X=2)&=&\frac{1}{6}\\ 3の目が出る確率\ P(X=3)&=&\frac{1}{6}\\ 4の目が出る確率\ P(X=4)&=&\frac{1}{6}\\ 5の目が出る確率\ P… text/html 2025-12-01T06:14:44+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:lecture8&rev=1764569684&do=diff 【データリテラシー】第8回 推定 母集団と標本抽出 調査したい集団全体のことを母集団という。 母集団は要素の集まりで、母集団の要素の分布のことを母集団分布という。 母集団を知るということは、母集団分布を知ることである。$1,2,3,4,5,6$$X$$X$$\mu$$\sigma^{2}$$\sigma=\sqrt{\sigma^{2}}$$n$$X_{1},X_{2},\cdots,X_{n}$$\mu$$\bar{X}$\[ \bar{X}=\frac{X_{1}+X_{2}+\cdots+X_{n}}{n}=\frac{1}{n}\sum_{i=1}^{n}X_{i} \]$\sigma^{2}$$s^{2}$\[ s^{2}=\frac{(X_{1}-\bar{X})^{2}+(X_{2}-\bar{X})^{2}+\cdots+(X_{n}-\bar{X})^{2}}{n-1}=\frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\bar{X})^{2} \]$\bar{X}$$\mu$$s^{2}$$\sigma^{2}$$s^{2}$$\sigma^{… text/html 2024-09-09T05:36:40+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:lecture9&rev=1725860200&do=diff 【データリテラシー】第9回 分割表とクロス集計 多変量データ ある集団に対して2種類以上の観測を行って得られた多変数のデータを多変量データ（多次元データ）という。 ここでは特に 2変数のデータである$s$$t$$s\times t$$x_{1}$$y_{1}$$z_{1}$$x_{2}$$y_{2}$$z_{2}$$x_{3}$$y_{3}$$z_{3}$ text/html 2024-09-09T05:37:16+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:lecture10&rev=1725860236&do=diff 【データリテラシー】第10回 2変量データと相関 相関関係 2変量 $X$, $Y$ のデータがあるとする。 $X$ と $Y$ の間の関係のことを相関関係という。 特に統計学では $X$ と $Y$ の間に比例関係（直線関係）に近い傾向が見られることを「相関関係がある」という。$X$$Y$$X$$Y$$X$$Y$$X$$Y$$X$$Y$$X$$Y$$\vdots$$\vdots$$\vdots$$-1$$1$$\pm 1$$0$$\pm 1$$0$$r$$(X_{i},Y_{i})$$(i=1,2,\cdots,n)$$r$\[ r=\frac{C_{XY}}{S_{X}S_{Y}} \]$C_{XY}$\[ C_{XY}=\frac{1}{n}\sum_{i=1}^{n}(X_{i}-\bar{X})(Y_{i}-\bar{Y}) \]$S_{X}, S_{Y}$$X$$Y$\[ S_{X}=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(X_{i}-\bar{X})^{2}} \]\[ S_{Y}=\sqrt{\frac{1}{n}\sum_{i=1}^{n}… text/html 2024-09-23T12:24:53+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:lecture11&rev=1727094293&do=diff 【データリテラシー】第11回 時系列データ 時系列データ 身の回りの現象は時間的に変動するものが多い。 その現象の時間的変動を継続観測して得られるデータを時系列データという。 時系列データは観測される時間と順序に意味がある。$y_{1},y_{2},\cdots,y_{n}$$i$$y_{i}$$j$$y_{j}$$i<j$$y_{j}$$y_{i}$$i<j$$y_{j}$$y_{i}$$y_{i}$$y_{j}$$y_{i}$$2k+1$$k$$k$\begin{eqnarray*} z_{i}&=&\frac{y_{i-k}+y_{i-k+1}+\cdots+y_{i-1}+y_{i}+y_{i+1}+\cdots+y_{i+k-1}+y_{i+k}}{2k+1}\\ &=&\frac{1}{2k+1}\sum_{j=-k}^{k}y_{i+j} \end{eqnarray*}$k$$k=3$\[ z_{i}=\frac{y_{i-3}+y_{i-2}+y_{i-1}+y_{i}+y_{i+1}+y_{i+2}+y_{i+3}}{7} \]$k=3$$y_{i}$$y_{i-… text/html 2024-09-09T05:38:05+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:lecture12&rev=1725860285&do=diff 【データリテラシー】第12回 仮説検定 仮説検定の考え方 仮説検定とは、母集団について仮定された命題（仮説）を標本に基づき統計的に検証することである。 例えば、ある母集団について$\mu$$\mu>3$$\mu$$\bar{X}$$\bar{X}>3$$\mu>3$$\mu>3$$\bar{X}$$\bar{X}$$\alpha$$R$$\alpha$$\alpha$$\alpha$$\alpha$$\alpha$$\alpha$$\alpha$$n$$\mu$$\mu$$\bar{X}$\[ \bar{X}=\frac{X_{1}+X_{2}+\cdots+X_{n}}{n}=\frac{1}{n}\sum_{i=1}^{n}X_{i} \]$H_{0}$$H_{1}$$H_{1}$$H_{0}:\mu=\mu_{0}$$H_{1}:\mu>\mu_{0}$$H_{0}:\mu=\mu_{0}$$H_{1}:\mu<\mu_{0}$$H_{0}:\mu=\mu_{0}$$H_{1}:\mu\neq\mu_{0}$$\mu_{0}$$H_{1}$$H_{0}$$H_{1}$$=$… text/html 2024-09-09T05:38:29+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:lecture13&rev=1725860309&do=diff 【データリテラシー】第13回 回帰分析 単回帰分析 2変量 $Y, X$ のデータがあるとき、$Y$ を $X$ で説明する方程式を推測することを単回帰分析という。 このとき、$X$ を説明変数（独立変数）、$Y$ を被説明変数（従属変数）$Y$$X$$X$$Y$$Y$$X$$X$$f(X)$\[ Y=f(X) \]$f(X)$$X$$X$$Y$$X$\[ Y=\beta_{1}+\beta_{2}X \]$\beta_{1}, \beta_{2}$$\beta$$X, Y$\(Y=aX+b\)$Y$$X$$Y$$X$$Y$$X$$X$$Y$$X$$Y$$Y$$X$$Y$$X$\[ Y=\beta_{1}+\beta_{2}X \]$\beta_{1}$$\beta_{2}$$X, Y$$\beta_{1}$$\beta_{2}$$X, Y$$n$$(X_{i},Y_{i})$$(i=1,2,\cdots,n)$$\beta_{1}$$\beta_{2}$$Y$$X$$X$$Y$$\beta_{1}$$\beta_{2}$$Y$$Y$$\beta_{1}, \beta_{2}$$\… text/html 2024-09-09T05:31:09+00:00 Anonymous (anonymous@undisclosed.example.com) http://10.8.1.3/class/doku.php?id=data_literacy:top&rev=1725859869&do=diff データリテラシー * 【データリテラシー】第1回 社会におけるデータ・AI 利活用 * 【データリテラシー】第2回 表計算ソフトの基本操作 * 【データリテラシー】第3回 セルの参照と集計 * 【データリテラシー】第4回 度数分布表とヒストグラム * 【データリテラシー】第5回 代表値と散らばりの尺度 * 【データリテラシー】第6回 データのグラフによる表現とデータの比較 * 【データリテラシー】第7回 データの分布と標本抽出 * 【データリテラシー】第8回 推定 * 【データリテラシー】第9回 分割表とクロス集計 * 【データリテラシー】第10回 2変量データと相関 * 【データリテラシー】第11回 時系列データ * 【データリテラシー】第12回 仮説検定 * 【データリテラシー】第13回 回帰分析 * 【データリテラシー】データセット * 学習用動画（広瀬先生）…