Zobrazení zdroje stránky Tf-idf

'''Tf-idf,''' celý pojem '''term frequency–inverse document frequency''', je metodika hodnocení [[relevance#Relevance v informatice|relevance]] při vyhledávání textu. Jde o číselnou statistiku, která má odrážet důležitost slova pro dokument v datasetu nebo korpusu.<ref>{{Citace elektronického periodika
| titul = Wayback Machine
| periodikum = web.archive.org
| url = http://i.stanford.edu/~ullman/mmds/ch1.pdf
| datum přístupu = 2023-08-16
| url archivu = https://web.archive.org/web/20230816200201/http://i.stanford.edu/~ullman/mmds/ch1.pdf
| datum archivace = 2023-08-16
}}</ref> Název je spojením zkratek dvou termínů:
* ''Term Frequency'' – [[četnost]] slova v dokumentu
* ''Inverse document frequency'' – převrácená četnost slova ve všech dokumentech

== Teorie ==
''Tf'' složka vyjadřuje, jak často se výraz vyskytuje v dokumentu z databáze. Většinou se normalizuje vydělením délkou (počtem slov) dokumentu, aby se předešlo nadhodnocování dlouhých dokumentů, ve kterých se hledaný výraz může vyskytovat častěji než v kratších, aniž by byl dokument relevantnější. Tím získáváme následující definici tf:
:<math> \mathrm{tf_{i,j}} = \frac{n_{i,j}}{\sum_k n_{k,j}}</math>
kde <math>n_{i,j}</math> je počet výskytů slova <math> t_{i} </math> v dokumentu <math> d_{j} </math>. Jmenovatel reprezentuje součet počtu výskytů všech slov v dokumentu <math> d_{j} </math>, tj. jeho délku.

''Idf'' složka reprezentuje "důležitost" slova. Čím častěji se slovo vyskytuje v dokumentech, tím méně je důležité (slovo, které se vyskytuje ve všech dokumentech, jako například v angličtině člen "the" nebo česká spojka "a", je většinou pro vyhledávání nepoužitelné). Idf pro slovo <math>i</math> spočítáme podle vzorce:
:<math> \mathrm{idf_{i}} =  \log \frac{|D|}{|\{j: t_{i} \in d_{j}\}|}</math>
kde <math>|D|</math> je velikost databáze dokumentů, tedy počet dokumentů, ve kterých hledáme a <math> |\{j: t_{i} \in d_{j}\}|</math> je počet dokumentů, které obsahují slovo <math>i</math>.

=== Příklad ===
Mějme dokument o 100 slovech obsahující 3x slovo "wikipedie". Z předchozích rovnic spočítáme tf slova "wikipedie" jako 3/100 = 0,03. Nyní máme databázi 10 miliónů dokumentů, z nichž slovo "wikipedie" obsahuje jen tisíc dokumentů, idf pak bude log(10 000 000/1000) = 4. Tf-idf získáme jako součin těchto dvou čísel: 0,03 × 4 = 0,12. Nyní řekněme, že v použitém dokumentu byla spojka "a" šestkrát, takže tf pro "a" bude rovno 6/100 = 0,06. V celé databázi se "a" bude vyskytovat v 9 milionech dokumentů, takže idf bude log(10 000 000/9 000 000) = 0,0458. Výsledné tf-idf pro slovo "a" bude 0,06 × 0,0458 = 0,0027.

== Odkazy ==

=== Reference ===
<references />

=== Externí odkazy ===
* {{Wikislovník|heslo=TF-IDF}}
{{Autoritní data}}

[[Kategorie:Vyhledávání informací]]
[[Kategorie:Zpracování přirozeného jazyka]]