ČeskyEnglish

Popis předmětu - AE0B01PSI

Přehled studia | Přehled oborů | Všechny skupiny předmětů | Všechny předměty | Seznam rolí | Vysvětlivky               Návod
AE0B01PSI Probability, Statistics, and Theory of Information Rozsah výuky:4+2
Garanti:  Role:P,V Zakončení:Z,ZK
Vyučující:Helisová K.
Zodpovědná katedra:13101 Kreditů:6 Semestr:Z

Anotace:

Basics of probability theory, mathematical statistics, information theory, a coding. Includes descriptions of probability, random variables and their distributions, characteristics and operations with random variables. Basics of mathematical statistics: Point and interval estimates, methods of parameters estimation and hypotheses testing, least squares method. Basic notions and results of the theory of Markov chains. Shannon entropy, mutual and conditional information, types of codes. Correspondence between entropy and the optimal code length. Information channels and their capacity, compression.

Výsledek studentské ankety předmětu je zde: AE0B01PSI

Cíle studia:

Zvládnutí základů teorie pravděpodobnosti a jejich využití pro statistické odhady a testy. Využití Markovových řetězců pro modelování. Základní pojmy teorie informace.

Osnovy přednášek:

1. Basic notions of probability theory. Random variables and their description.
2. Characteristics of random variables. Random vector, independence, conditional probability, Bayes formula.
3. Operations with random variables, mixture of random variables. Chebyshev inequality. Law of large numbers. Central limit theorem.
4. Basic notions of statistics. Sample mean, sample variance.
5. Method of moments, method of maximum likelihood. EM algorithm.
6. Interval estimates of mean and variance. Hypotheses testing.
7. Goodness-of-fit tests, tests of correlation, non-parametic tests.
8. Applications in decision-making under uncertainty and pattern recognition. Least squares method.
9. Discrete random processes. Stationary processes. Markov chains.
10. Classification of states of Markov chains. Overview of applications.
11. Shannon's entropy of a discrete distribution and its axiomatical formulation. Theorem on minimal and maximal entropy. Conditional entropy. Chain rule. Subadditivity. Entropy of a continuous variable.
12. Fano's inequality. Information of message Y in message X. Codes, prefix codes, nonsingular codes. Kraft-MacMillan's inequality.
13. Estimation of the average codelength by means of entropy. Huffman codes. Data compression using the law of large numbers. Typical messages. Entropy speed of stationary sources.
14. Information channel and its capacity. Basic types of information channels. Shannon's coding theorem. Universal compression. Ziv-Lempel codes.

Osnovy cvičení:

1. Elementary probability. Random variables and their description.
2. Mean and variance of random variables. Unary operations with random variables.
3. Random vector, joint distribution.
4. Binary operations with random variables. Mixture of random variables. Central limit theorem.
5. Sample mean, sample variance. Method of moments, method of maximum likelihood.
6. Interval estimates of mean and variance.
7. Hypotheses testing.
8. Least squares method.
9. Goodness-of-fit tests.
10. Discrete random processes. Stationary processes. Markov chains.
11. Shannons's entropy of a discrete distribution and its axiomatical formulation. Theorem on minimal and maximal entropy. Conditional entropy. Chain rule. Subadditivity. Entropy of a continuous variable.
12. Fano's inequality. Information of message Y in message X. Codes, prefix codes, nonsingular codes. Kraft-MacMillan's inequality.
13. Estimation of the average codelength by means of entropy. Huffman codes. Data compression using the law of large numbers. Typical messages. Entropy speed of stationary sources.
14. Information channel and its capacity. Basic types of information channels. Shannon's coding theorem. Universal compression. Ziv-Lempel codes.

Literatura:

[1] David J.C. MacKay: Information Theory, Inference, and Learning
Algorithms, Cambridge University Press, 2003.
[2] T.M.Cover and J.Thomson: Elements of information theory, Wiley,
1991. [3] Papoulis, A.: Probability and Statistics, Prentice-Hall, 1990.
Mood, A.M., Graybill, F.A., Boes, D.C.: Introduction to the Theory of Statistics. 3rd ed., McGraw-Hill, 1974.

Požadavky:

Linear Algebra, Calculus, Discrete Mathematics

Poznámka:

Podmínkou získání zápočtu je aktivní účast na cvičeních a vypracování Rozsah výuky v kombinované formě studia: 28p+6s

Webová stránka:

http://math.feld.cvut.cz/helisova/01pstimfe.html

Předmět je zahrnut do těchto studijních plánů:

Plán Obor Role Dop. semestr
BEKME3 Aplikovaná elektronika V 3
BEKME5 Komunikace a elektronika V 3
BEKME2 Multimediální technika V 3
BEKME1 Komunikační technika V 3
BEKME_BO Před zařazením do oboru V 3
BEKME4 Síťové a informační technologie V 3
BEKYR1 Robotika P 3
BEKYR3 Systémy a řízení P 3
BEKYR_BO Před zařazením do oboru P 3
BEKYR2 Senzory a přístrojová technika P 3
BEEEM_BO Před zařazením do oboru V 3
BEEEM2 Elektrotechnika a management V 3
BEEEM1 Aplikovaná elektrotechnika V 3
BEOI2 Informatika a počítačové vědy P 3
BEOI1 Počítačové systémy P 3
BEOI_BO Před zařazením do oboru P 3
BEOI3 Softwarové systémy P 3


Stránka vytvořena 26.6.2017 09:54:29, semestry: L/2016-7, Z,L/2017-8, Z/2018-9, připomínky k informační náplni zasílejte správci studijních plánů Návrh a realizace: I. Halaška (K336), J. Novák (K336)
Za obsah odpovídá: doc. Ing. Ivan Jelínek, CSc.