行列これだけは（行列の微分の公式含む）

数学 線形代数



線形代数学で扱う行列の種々の性質のうち、統計学に直接必要な知識だけを短くまとめる。内容は、rank、tr、det、直行行列、二次形式、べき等行列の性質と行列の微分に関する公式である。

rank

rankとは、行列$\textbf{A}$の表す線形写像の像空間の次元、$\textbf{A}$の1次独立な列ベクトルの個数、$\textbf{A}$の1次独立な列ベクトルの生成する部分空間の次元などを表すものである。

rankの性質

1. $rank(\textbf{AB}) \leq min(rank(\textbf{A}),rank(\textbf{B}))$
2. $rank(\textbf{A}\textbf{A}^t) = rank(\textbf{A}) = rank(\textbf{A}^t\textbf{A})$
3. $rank(\textbf{A}+\textbf{B}) \leq rank(\textbf{A}) + rank(\textbf{B})$
4. $\textbf{P},\textbf{Q}$が正則行列であれば、 rank(\textbf{A}) = rank(\textbf{PA}) = rank(\textbf{AQ}) = rank(\textbf{PAQ})

trace

m次正方行列の対角要素の和のこと

traceの性質

1. $tr(\textbf{A}+\textbf{B}) = tr(\textbf{A})+tr(\textbf{B})$
2. $tr(\textbf{A}\textbf{B}) = tr(\textbf{B}\textbf{A}), \ tr(\textbf{A}\textbf{B}\textbf{C}) = tr(\textbf{B}\textbf{C}\textbf{A}) = tr(\textbf{C}\textbf{A}\textbf{B})$

det

m次正方行列の行列式のこと

detの性質

1. $det(\textbf{A}) = det(\textbf{A}^t)$
2. $det(\textbf{A}^{-1}) = 1/det(\textbf{A})$
3. $det(\textbf{A}\textbf{B}) = det(\textbf{A})det(\textbf{B})$

直行行列

m次正方行列$\textbf{P}$が$\textbf{P}^t\textbf{P}=\textbf{P}\textbf{P}^t=\textbf{I}$を満たすとき、$\textbf{P}$を直行行列という

直行行列の性質

1. 直行行列の各行（列）は正規直交している
2. 直行行列の行列式は＋１またはー１
3. 直行行列は正則（非特異）

二次形式

$\textbf{x}$をm次元ベクトル、$\textbf{A}$をm次正方行列とするとき、$\textbf{x}^t\textbf{A}\textbf{x}=\sum_{i=1}^{m}\sum_{j=1}^{m}a_{ij}x_ix_j$

二次形式と定値性

Aが対称行列のとき、任意の$x(\neq 0)$に対して、

  • $\textbf{x}^t\textbf{A}\textbf{x} \ge 0$なら、Aは正定値
  • $\textbf{x}^t\textbf{A}\textbf{x} \geq 0$なら、Aは半正定値（非負定値）
  • $\textbf{x}^t\textbf{A}\textbf{x} \le 0$なら、Aは負定値
行列の定値性とそのほかの性質の関係

1. m次正方行列Aが正定値$\Leftrightarrow \textbf{A}=\textbf{B}^t\textbf{B}$なる$m$次正方行列$\textbf{B}$が存在
2. $\textbf{X}$が$m \times p$行列で（$m \geq p$）,$rank(\textbf{X})=r$のとき、$\textbf{X}^t\textbf{X}$は半正定値で、$rank(\textbf{X})=p$のとき、$\textbf{X}^t\textbf{X}$は正定値
3. $\textbf{A}$が正定値（半正定値）$\Rightarrow det(\textbf{A}) \ge 0 \ (det(\textbf{A}) \geq 0)$

べき等行列

m次正方行列$\textbf{A}$が$\textbf{A}^2=\textbf{A}$を満たすとき、$\textbf{A}$をべき等行列という

べき等行列の性質

1. $\textbf{A}^k=\textbf{A}$
2. $rank(\textbf{A})=tr(\textbf{A})$


その他よく使う性質

1. $\textbf{A}$が対称行列$\Leftrightarrow$直行行列$\textbf{P}$が存在して$\textbf{P}^t \textbf{A}\textbf{P}=\bf{\Lambda}$, $\bf{\Lambda}$は対角行列
2. $\textbf{A}$が$m \times k$行列で$rank(\textbf{A})=r \Rightarrow 正則な行列\textbf{P},\textbf{Q}$が存在して、
\textbf{P}\textbf{A}\textbf{Q} = \begin{bmatrix} \textbf{I_r} & \textbf{0} \\ \textbf{0} & \textbf{0} \\ \end{bmatrix}
3. $\textbf{A}$がm次の半正定値行列で rank(\textbf{A})=r \Rightarrow m次正則行列\textbf{C}が存在して、
\textbf{A} = \textbf{C}^t \begin{bmatrix} \textbf{I_r} & \textbf{0} \\ \textbf{0} & \textbf{0} \\ \end{bmatrix} \textbf{C}

行列の微分

スカラーのベクトル微分はベクトルに、ベクトルのベクトル微分は行列に、スカラーの行列は行列になる。

スカラーのベクトル微分

$f : \bf{x}=(x_1,\cdots,x_m)^t \rightarrow \mathbb{R}$のm変数実関数について
$\frac{\partial f}{\partial \bf{x}} = (\frac{\partial f}{\partial x_1},\cdots,\frac{\partial f}{\partial x_m})^t$
$\frac{\partial ^2f}{\partial \bf{x} \partial \bf{x}^t} = [\frac{\partial ^2f}{\partial x_i \partial x_j}]$

スカラーのベクトル微分に関するその他の公式
  • $\frac{\partial \bf{a}^t \bf{x}}{\partial \bf{x}} = \bf{a}$
  • $\frac{\partial \bf{x}^t \bf{a}}{\partial \bf{x}} = \bf{a}$
  • $\frac{\partial \bf{x}^t \bf{x}}{\partial \bf{x}} = 2\bf{x}$
  • $\frac{\partial \bf{x}^t \bf{A} \bf{x}}{\partial \bf{x}} = (\bf{A}+\bf{A}^t)\bf{x}$(二次形式のベクトル微分)$=2\bf{A} \bf{x}$(対称行列なら)
  • $\frac{\partial ^2 \bf{x}^t \bf{A} \bf{x}}{\partial \bf{x} \bf{x}^t} = \bf{A}+\bf{A}^t$(二次形式のベクトル微分)$=2\bf{A}$(対称行列なら)
  • $\frac{\partial \bf{(x-a)}^t \bf{(x-a)}}{\partial \bf{x}} = 2\bf{(x-a)}$
  • $\frac{\partial \bf{(Ax-b)}^t \bf{(Ax-b)}}{\partial \bf{x}} = 2\bf{A^t(Ax-b)}$
  • $\frac{\partial \bf{(Ax-b)}^t C \bf{(Ax-b)}}{\partial \bf{x}} = \bf{A^t(C+C^t)(Ax-b)}$
ベクトルのベクトル微分

$\bf{y} \in \mathbb{R}^m, \bf{x} \in \mathbb{R}^n$
$\frac{\partial \bf{y}}{\partial \bf{x}} =$
\begin{bmatrix}
\frac{\partial y_1}{\partial x_1} & \cdots & \frac{\partial y_m}{\partial x_1} \\
\cdots & \cdots & \cdots \\
\frac{\partial y_1}{\partial x_n} & \cdots & \frac{\partial y_m}{\partial x_n} \\
\end{bmatrix} $\in \mathbb{R}^{n \times m}$
行と列を入れ替えて定義することがある。このとき以下の公式が変わることがあるので注意。

その他の公式
  • $\frac{\partial \bf{x}}{\partial \bf{x}} = \bf{I}$
  • $\frac{\partial \bf{A} \bf{x}}{\partial \bf{x}} = \bf{A}^t$
  • $\frac{\partial f(\bf{u}=g(\bf{x}))}{\partial \bf{x}} = \frac{\partial g(\bf{x})}{\partial \bf{x}} \frac{\partial f(\bf{u})}{\partial \bf{u}}$
  • $\frac{\partial (f(x_1),\cdots,f(x_n))}{\partial \bf{x}} = $

\begin{bmatrix}
f'(x_1) & 0 & \cdots & 0 \\
0 & f'(x_2) & \cdots & \cdots \\
\cdots & \cdots & \cdots & 0 \\
0 & \cdots & \cdots & f'(x_n) \\
\end{bmatrix}

  • $\frac{\partial \bf{x} \otimes \bf{y}}{\partial \bf{x}} = diag(y_1,\cdots,y_n)$
スカラーの行列微分

$\bf{f} \in \mathbb{R}, \bf{A} \in \mathbb{R}^{n \times m}$
$\frac{\partial f}{\partial \bf{A}} = $
\begin{bmatrix}
\frac{\partial f}{\partial A_{11}} & \cdots & \frac{\partial f}{\partial A_{1m}} \\
\cdots & \cdots & \cdots \\
\frac{\partial f}{\partial A_{n1}} & \cdots & \frac{\partial f}{\partial A_{nm}} \\
\end{bmatrix} $\in \mathbb{R}^{n \times m}$

その他の公式
  • $\frac{\partial tr(\bf{A})}{\partial \bf{A}} = \bf{I}$
  • $\frac{\partial tr(\bf{AB})}{\partial \bf{A}} = \bf{B}^t$
  • $\frac{\partial tr(\bf{BA})}{\partial \bf{A}} = \bf{B}^t$
  • $\frac{\partial tr(\bf{ABA}^t)}{\partial \bf{A}} = \bf{A}(\bf{B}+\bf{B}^t)$
  • $\frac{\partial tr(f(\bf{U}=g(\bf{A})))}{\partial \bf{A}} = \frac{\partial tr(f(\bf{U}))}{\partial \bf{U}} \frac{\partial tr(g(\bf{A}))}{\partial \bf{A}}$
  • $\frac{\partial f(\bf{A})}{\partial \bf{A}^t} = (\frac{\partial f(\bf{A})}{\partial \bf{A}})^t$
  • $\frac{\partial |\bf{A}|}{\partial \bf{A}} = |\bf{A}|(\bf{A}^{-1})^t$
  • $\frac{\partial \ln{|\bf{A}|}}{\partial \bf{A}} = (\bf{A}^{-1})^t$
  • $\frac{\partial ||\bf{A} \bf{X}-\bf{B}||_F^2}{\partial \bf{X}} = 2\bf{A}^t(\bf{A} \bf{X}-\bf{B})$
  • $\frac{\partial ||\bf{X} \bf{A}-\bf{B}||_F^2}{\partial \bf{X}} = 2(\bf{X} \bf{A}-\bf{B})\bf{A}^t$