離散機率分布

這裡的 outcome 都限制於成功（1）或失敗（0）兩種結果，並且每次事件互相獨立。成功機率是 $p$，失敗機率是$p-1$

Bernoulli 分布

• 描述單次試驗的成敗，只有兩種可能結果（成功或失敗），機率為： $$P(X = 1) = p, \quad P(X = 0) = 1 - p$$

$X \sim \text{Bernoulli}(p)$，代表一次 Bernoulli 試驗的結果。

Binomial distrbution

• exactly $k$ sucesses in $n$ independent Bernoulli trials
• 在 $n$ 個洞任挑 $k$ 個去成功，n>1

$$\dbinom{n}{k}\cdot p^k \cdot (1-p)^{n-k}$$

提示

Binomail 是 $n$ 次獨立 Bernoulli 成功的次數。

當 $n=1$ 時，$\text{Binomial}(1, p) = \text{Bernoulli}(p)$。

Geomertric distrbution

• do $n$ trial until sucess
• 指定第 $n$ 次是這個 trial 第一次成功
• 前 $n-1$ 次都失敗，第 n 次成功

$$(1-p)^{n-1}\cdot p$$

Negtive Binomial distrbution

• observing the $k^{th}$ sucess on $n^{th}$ trial
• 算第 $k$ 個成功在第 $n$ 次的機率
• $k-1$ 次成功任意安插在前 $n-1$ 次裡面，第 $n$ 次是成功的，為全部成功數中第 k 次成功。其餘 $n-k$都失敗

$$P(k^{th} sucess\,on\,n^{th} trial)= \dbinom{n-1}{k-1} \cdot p^{n-1} \cdot (1-p)^{n-k} \cdot p \\ =\dbinom{n-1}{k-1} \cdot p^{k} \cdot (1-p)^{n-k}$$

Poisson distrbution

• number of rare events in a large population over a short unit
• 事件平均發生的次數為 $\lambda$
• 計算在單位時間內剛好發生 $k$ 次事件的機率

$$P(X = k) = \dfrac{\lambda^k e^{-\lambda}}{k!}$$

從 Binomial Distribution 推導 Poisson Distribution

Poisson 可以從 Binomial distrbution 的概念推廣而來，當我們要算生產瑕疵品的機率是 $p$

那麼在 $n$ 個產品檢查中有 $k$ 個瑕疵品 PMF 就是$\dbinom{n}{k}\cdot p^k \cdot (1-p)^{n-k}$

如果 $n$ 非常大，但每個產品的瑕疵率 $p$ 很小，使得總期望值 $\lambda = np$ 保持不變，則我們可以用 Poisson Distribution 來近似這個 Binomial distributions：

$$P(X = k) \approx \frac{\lambda^k e^{-\lambda}}{k!}, \quad X \sim \text{Poisson}(\lambda)$$

如此一來能避免二項分布中複雜的組合數運算 $\binom{n}{k}$，讓計算更精簡。