Hadamardův součin

Hadamardův součin se týká matic stejného typu.

Hadamardův součin, Schurův součin nebo součin po složkách je v matematice binární operací na maticích stejného typu. Výsledná matice se získá součinem odpovídajících složek daných matic. Ve srovnání se složitějším maticovým součinem je Hadamardův součin méně používaný.

Hadamardův součin je asociativní a distributivní vzhledem k součtu. Pokud je komutativní příslušný okruh, je i Hadamardův součin komutativní.

Hadamardův součin dvou pozitivně semidefinitních matic je opět pozitivně semidefinitní. Některé maticové parametry, např. normu, hodnost nebo spektrální poloměr, Hadamardova součinu lze odhadnout pomocí součinu příslušných parametrů výchozích matic.

Součin je pojmenován po francouzském matematiku Jacquesi Hadamardovi (1865–1963) a německém matematiku Issai Schurovi (1875–1941). Stejně jako se lze setkat s různými názvy, lze se setkat i s různými symboly: $\circ$, $\odot$, .* nebo $\bullet$.

Při výpočtu Hadamardova součinu se matice mezi sebou násobí po složkách.

Definice

Pro matice $𝑨,𝑩$ typu $m\times n$ nad okruhem $(R,+,\cdot )$, např. nad celými, reálnými nebo komplexními čísly, je Hadamardův součin $𝑨\circ 𝑩$ definován předpisem:

$(𝑨\circ 𝑩{)}_{i,j}=a_{i,j}\cdot b_{i,j}$

po rozepsání:

$𝑨\circ 𝑩=\left(\begin{array}{ccc}{a}_{1,1}\cdot b_{1,1}& \cdots & a_{1,n}\cdot b_{1,n}\\ ⋮& \ddots & ⋮\\ a_{m,1}\cdot b_{m,1}& \cdots & a_{m,n}\cdot b_{m,n}\end{array}\right)\in R^{m\times n}$

Výsledkem je matice stejného typu $m\times n$, jejíž každý prvek je určen součinem prvku matice $𝑨$ na stejné pozici s odpovídajícím prvkem matice $𝑩$.

Pro matice různých rozměrů, tj. pro typy $m\times n$ a $p\times q$, kde $m\ne p$ nebo $n\ne q$, není Hadamardův součin definován.

Ukázka

Hadamardův součin dvou reálných matic typu $2\times 3$

$𝑨=\left(\begin{array}{ccc}2& 3& 1\\ 0& 8& -2\end{array}\right)$ a $𝑩=\left(\begin{array}{ccc}3& 1& 4\\ 7& 9& 5\end{array}\right)$

je

$𝑨\circ 𝑩=\left(\begin{array}{ccc}2& 3& 1\\ 0& 8& -2\end{array}\right)\circ \left(\begin{array}{ccc}3& 1& 4\\ 7& 9& 5\end{array}\right)=\left(\begin{array}{ccc}2\cdot 3& 3\cdot 1& 1\cdot 4\\ 0\cdot 7& 8\cdot 9& -2\cdot 5\end{array}\right)=\left(\begin{array}{ccc}6& 3& 4\\ 0& 72& -10\end{array}\right)$

Vlastnosti

Hadamardův součin v podstatě dědí vlastnosti základního okruhu. Je vždy asociativní, neboli pro matice $𝑨,𝑩,𝑪\in R^{m\times n}$ platí:

$𝑨\circ (𝑩\circ 𝑪)=(𝑨\circ 𝑩)\circ 𝑪$

Hadamardův součin je lineární vůči skalárnímu násobku v obou činitelích, neboli pro každé $a\in R$ platí:

$a(𝑨\circ 𝑩)=(a𝑨)\circ 𝑩=𝑨\circ (a𝑩)$ .

Nad komutativním okruhem je i Hadamardův součin komutativní:

$𝑨\circ 𝑩=𝑩\circ 𝑨$

čímž se liší od běžně používaného maticového součinu.

Vůči součtu matic po složkách $𝑨+𝑩$ platí distribuční zákony:

$(𝑨+𝑩)\circ 𝑪=𝑨\circ 𝑪+𝑩\circ 𝑪$ a $𝑨\circ (𝑩+𝑪)=𝑨\circ 𝑩+𝑨\circ 𝑪$ .

Pro transpozici Hadamardova součinu platí:

$(𝑨\circ 𝑩{)}^{𝖳}={𝑨}^{𝖳}\circ {𝑩}^{𝖳}$

Hadamardův součin dvou symetrických matic je symetrický.

V Kroneckerově součinu $𝑨\otimes 𝑩$ matic $𝑨,𝑩\in R^{m\times n}$ se Hadamardův součin $𝑨\circ 𝑩$ vyskytuje jako podmatice určená sloupcovými indexy $1,n+2,2n+3,\dots ,n^2$ s řádkovými indexy$1,m+2,2m+3,\dots ,m^2$. V důsledku pro hodnost těchto součinů platí:

$\mathrm{rank}(𝑨\circ 𝑩)\le \mathrm{rank}(𝑨\otimes 𝑩)=\mathrm{rank}𝑨\cdot \mathrm{rank}𝑩$

Diagonální matice

Na diagonálních maticích se Hadamardův součin se shoduje se standardním maticovým součinem $𝑫\circ {𝑫}^{\prime }=𝑫\cdot {𝑫}^{\prime }$.

Pro Hadamardův součin a standardní maticový součin, jichž se účastní diagonální matice $𝑫$, platí následující vztahy:

$𝑫\cdot (𝑨\circ 𝑩)=(𝑫\cdot 𝑨)\circ 𝑩=𝑨\circ (𝑫\cdot 𝑩)$

$(𝑨\circ 𝑩)\cdot 𝑫=(𝑨\cdot 𝑫)\circ 𝑩=𝑨\circ (𝑩\cdot 𝑫)$

$𝑫\cdot (𝑨\circ 𝑩)\cdot 𝑫=(𝑫\cdot 𝑨\cdot 𝑫)\circ 𝑩=𝑨\circ (𝑫\cdot 𝑩\cdot 𝑫)=(𝑫\cdot 𝑨)\circ (𝑩\cdot 𝑫)=(𝑨\cdot 𝑫)\circ (𝑫\cdot 𝑩)$

V unitárních okruzích lze pomocí vektorů $1$ ze samých jedniček ukázat, že součet všech prvků v Hadamardově součinu je roven stopě součinu ${𝑨𝑩}^{𝖳}$:

$\mathrm{tr}\left({𝑨𝑩}^{𝖳}\right)=1_m^{𝖳}(𝑨\circ 𝑩)1_n$

Uvedený vztah lze zobecnit pro diagonální matice ${𝑫}_{𝒙}\in R^{m\times m}$ a ${𝑫}_{𝒚}\in R^{n\times n}$ s vektory $𝒙\in R^m$ a $𝒚\in R^n$ na diagonále:

${𝒙}^{𝖳}(𝑨\circ 𝑩)𝒚=\mathrm{tr}\left({𝑫}_{𝒙}{𝑨𝑫}_{𝒚}{𝑩}^{𝖳}\right)$

Pro čtvercové matice $𝑨$ a $𝑩$ řádu $n$ platí, že řádkové součty jejich Hadamardova součinu jsou diagonálními prvky součinu ${𝑨𝑩}^{𝖳}$:

$\sum _{i=1}^n(𝑨\circ 𝑩{)}_{i,j}={\left({𝑩}^{𝖳}𝑨\right)}_{j,j}={\left({𝑨𝑩}^{𝖳}\right)}_{i,i}$

Podobně platí:

$\left({𝒙𝒚}^{𝖳}\right)\circ 𝑨={𝑫}_{𝒙}{𝑨𝑫}_{𝒚}$

Kombinaci Hadamardova součinu a součinu vektoru s maticí lze dále vyjádřit jako:

$(𝑨\circ 𝑩)𝒚=\mathrm{diag}\left({𝑨𝑫}_{𝒚}{𝑩}^{𝖳}\right)$

kde $\mathrm{diag}(𝑴)$ je vektor sestavený z prvků na diagonále matice $𝑴$.

Algebraické vlastnosti

Množina matic typu $m\times n$ nad okruhem $R$ tvoří opět okruh $(R^{m\times n},+,\circ )$ vzhledem k součtu a Hadamardovu součinu. Pokud je $R$ unitární okruh s jednotkovým prvkem $1$, pak má okruh matic také jednotkový prvek, jmenovitě jedničkovou matici $𝑱\in R^{m\times n}$, jejíž jsou všechny rovny 1. Pro všechny matice $𝑨\in R^{m\times n}$ a jedničkovou matici $𝑱$pak platí:

$𝑨\circ 𝑱=𝑱\circ 𝑨=𝑨$

Pokud je $R$ těleso, potom lze matice, které neobsahují na žádné pozici nulový prvek, invertovat vzhledem k Hadamardovu součinu. Množina takto invertibilních matic pak tvoří grupu $(R^{m\times n},\circ )$, kde inverzní prvek $\widehat{𝑨}$ k matici $𝑨$ je dán předpisem:

${\hat{a}}_{i,j}=a_{i,j}^{-1}$

Vlastnosti pro reálné a komplexní matice

V následujících odstavcích jsou uvažovány jen matice řádu $n$ nad tělesem $T$ reálných nebo komplexních čísel.

Definitnost

Schurova věta o součinu z roku 1911 uvádí, že Hadamardův součin $𝑨\circ 𝑩$ pozitivně semidefinitních matic $𝑨,𝑩\in T^{n\times n}$ je opět pozitivně semidefinitní. Schur dokonce ukázal, že pokud je matice $𝑩$ pozitivně definitivní a matice $𝑨$ je pozitivně semidefinitní s kladnými prvky na diagonále, pak je Hadamardův součin $𝑨\circ 𝑩$ také pozitivně definitní.

Pro determinant Hadamardova součinu pozitivně semidefinitních matic $𝑨$ a $𝑩$ platí, že je větší nebo roven součinu jejich determinantů:

$\det (𝑨\circ 𝑩)\ge \det (𝑨)\det (𝑩)$

Pro vlastní čísla Hadamardova součinu $𝑨\circ 𝑩$ pozitivně semidefinitních matic navíc platí:

$\left(\underset{1\le i\le n}{\min }{a}_{i,i}\right){\lambda }_{\min }(𝑩)\le \lambda {}_{\min }(𝑨\circ 𝑩)\le \lambda {}_{\max }(𝑨\circ 𝑩)\le \left(\underset{1\le i\le n}{\max }{a}_{i,i}\right)\lambda {}_{\max }(𝑩)$

Jsou-li $𝑨$ a $𝑩$ pozitivně definitní matice řádu $n$, pak pro každé $k\in \{1,\dots ,n\}$ platí následující nerovnost zahrnující Hadamardův součin:

$\prod _{i=k}^n{\lambda }_i(𝑨\circ 𝑩)\ge \prod _{i=k}^n{\lambda }_i(𝑨\cdot 𝑩)$

kde ${\lambda }_i(𝑴)$ znamená $i$-té největší vlastní číslo matice $𝑴$.

Diagonalizovatelné matice

Pokud je matice $𝑨$ diagonalizovatelná, čili pokud ji lze rozložit na součin $𝑨={𝑺𝑫𝑺}^{-1}$, kde $𝑺$ je regulární matice a $𝑫$ je diagonální matice s vlastními čísly ${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n$ matice $𝑨$ na diagonále, tak potom platí:

$\left(\begin{array}{c}{a}_{1,1}\\ a_{2,2}\\ ⋮\\ a_{n,n}\end{array}\right)=(𝑺\circ ({𝑺}^{-1}{)}^{𝖳})\left(\begin{array}{c}{\lambda }_1\\ {\lambda }_2\\ ⋮\\ {\lambda }_n\end{array}\right)$

Singulární rozklad

Má-li čtvercová matice $𝑨$ singulární rozklad $𝑨={𝑼\mathrm{\Sigma }𝑽}^{𝖧}$ se singulárními hodnotami ${\sigma }_1,{\sigma }_2,\dots ,{\sigma }_n$, potom pro ni platí:

$\left(\begin{array}{c}{a}_{1,1}\\ a_{2,2}\\ ⋮\\ a_{n,n}\end{array}\right)=(𝑼\circ ({𝑽}^{𝖧}{)}^{𝖳})\left(\begin{array}{c}{\sigma }_1\\ {\sigma }_2\\ ⋮\\ {\sigma }_n\end{array}\right)$

Spektrální norma a poloměr

Je-li matice $𝑨$ pozitivně definitní, pak pro spektrální normu Hadamardova součinu platí:

$\Vert 𝑨\circ 𝑩{\Vert }_2\le \left(\underset{1\le i\le n}{\max }{a}_{i,i}\right)\Vert 𝑩{\Vert }_2$ .

Pokud lze matici rozložit na součin dvou matic $𝑨={𝑿}^{𝖧}𝒀$, pak platí:

$\Vert 𝑨\circ 𝑩{\Vert }_2\le c(𝑿)c(𝒀)\Vert 𝑩{\Vert }_2$

kde $c(𝑴)$ je maximální euklidovská norma sloupcových vektorů matice $𝑴$.

Pro spektrální normu a spektrální poloměr Hadamardova součinu platí:

$\Vert 𝑨\circ 𝑩{\Vert }_2\le \Vert 𝑨\otimes 𝑩{\Vert }_2=\Vert 𝑨{\Vert }_2\cdot \Vert 𝑩{\Vert }_2$

$\rho (𝑨\circ 𝑩)\le \rho (𝑨\otimes 𝑩)=\rho (𝑨)\cdot \rho (𝑩)$

Indukovaná seskvilineární forma

Pro matice $𝑨,𝑩\in T^{n\times n}$ vektory $𝒙,𝒚\in T^n$ a diagonální matice ${𝑫}_{𝒙},{𝑫}_{𝒚}\in T^{n\times n}$ s $𝒙$ a $𝒚$ na diagonále platí:

${𝒙}^{𝖧}(𝑨\circ 𝑩)𝒚=\mathrm{tr}({𝑫}_{𝒙}^{𝖧}\cdot 𝑨\cdot {𝑫}_{𝒚}\cdot {𝑩}^{𝖳})$

V důsledku lze seskvilineární formu generovanou Hadamardovým součinem zapsat pomocí stopy. Následně lze ukázat, že Frobeniova norma je vzhledem k Hadamardově součinu submultiplikativní:

$\Vert 𝑨\circ 𝑩{\Vert }_F\le \Vert 𝑨{\Vert }_F\cdot \Vert 𝑩{\Vert }_F$

Programování

Hadamardův součin je integrován do řady vědeckých nebo numerických programovacích jazyků různými způsoby:

• V numerickém softwarovém balíku Matlab je Hadamardův součin reprezentován kombinací symbolů .*, zatímco * znamená standardní maticový součin.
• V programovacím jazyce Fortran je Hadamardův součin implementován pomocí jednoduchého operátoru násobení *, zatímco součin matic je prováděn samostatnou rutinou matmul.
• Podobně numerická knihovna NumPy v Pythonu interpretuje a*b nebo a.multiply(b) jako Hadamardův součin a pro maticový součin používá a@b nebo a.matmul(b). V symbolické knihovně SymPy, značí a*b a a@b maticový součin, zatímco Hadamardův součin se provádí voláním metody a.multiply_elementwise(b).
• Ve statistickém softwaru R je Hadamardův součin reprezentován *, zatímco maticový součin je realizován %*%.
• V programovacích jazycích pro psaní shaderů, jako je GLSL, provede operátor * Hadamardův součin mezi dvěma vektory. Podobně operátor / provede Hadamardovo dělení. Operátor * se však také používá k výpočtu součinu dvou matic nebo matice s vektorem.
• V C++ poskytuje knihovna Eigen funkci cwiseProduct. Knihovna Armadillo používá zápis a % b pro Hadamardův součin a a * b pro standardní součin.

Aplikace

Hadamardův součin s kvantizační maticí se používá ve ztrátových kompresních a dekompresních algoritmech, jako například JPEG.

Při zpracování obrazu lze Hadamardův součin použít pro vylepšení, potlačení nebo maskování oblastí obrazu. Jedna matice představuje původní obrázek, druhá funguje jako váha nebo maskovací matice.

Ve strojovém učení se používá například k popisu architektury rekurentních neuronových sítí jako GRU nebo LSTM.

Používá se také ke studiu statistických vlastností náhodných vektorů a matic.

Podíl po složkách

Analogickým způsobem jako součin lze definovat i podíl po složkách:

$𝑨\oslash 𝑩=\left(\begin{array}{ccc}{a}_{1,1}/b_{1,1}& \cdots & a_{1,n}/b_{1,n}\\ ⋮& \ddots & ⋮\\ a_{m,1}/b_{m,1}& \cdots & a_{m,n}/b_{m,n}\end{array}\right)\in R^{m\times n}$, kde $b_{i,j}\ne 0$ pro $i\in \{1,\dots ,m\}$ a $j\in \{1,\dots ,n\}$

Odkazy

Literatura

• Šablona:Citace sborníku

• Šablona:Citace monografie

Související články

• Frobeniův skalární součin
• Kroneckerův součin matic