# Popis předmětu - AE0B01PSI

Přehled studia | Přehled oborů | Všechny skupiny předmětů | Všechny předměty | Seznam rolí | Vysvětlivky               Návod
 AE0B01PSI Probability, Statistics, and Theory of Information Rozsah výuky: 4+2 Garanti: Role: P,V Jazyk výuky: EN Vyučující: Helisová K. Zakončení: Z,ZK Zodpovědná katedra: 13101 Kreditů: 6 Semestr: Z

Anotace:

Basics of probability theory, mathematical statistics, information theory, a coding. Includes descriptions of probability, random variables and their distributions, characteristics and operations with random variables. Basics of mathematical statistics: Point and interval estimates, methods of parameters estimation and hypotheses testing, least squares method. Basic notions and results of the theory of Markov chains. Shannon entropy, mutual and conditional information, types of codes. Correspondence between entropy and the optimal code length. Information channels and their capacity, compression.

Cíle studia:

Zvládnutí základů teorie pravděpodobnosti a jejich využití pro statistické odhady a testy. Využití Markovových řetězců pro modelování. Základní pojmy teorie informace.

Osnovy přednášek:

 1 Basic notions of probability theory. Random variables and their description. 2 Characteristics of random variables. Random vector, independence, conditional probability, Bayes formula. 3 Operations with random variables, mixture of random variables. Chebyshev inequality. Law of large numbers. Central limit theorem. 4 Basic notions of statistics. Sample mean, sample variance. 5 Method of moments, method of maximum likelihood. EM algorithm. 6 Interval estimates of mean and variance. Hypotheses testing. 7 Goodness-of-fit tests, tests of correlation, non-parametic tests. 8 Applications in decision-making under uncertainty and pattern recognition. Least squares method. 9 Discrete random processes. Stationary processes. Markov chains. 10 Classification of states of Markov chains. Overview of applications. 11 Shannon's entropy of a discrete distribution and its axiomatical formulation. Theorem on minimal and maximal entropy. Conditional entropy. Chain rule. Subadditivity. Entropy of a continuous variable. 12 Fano's inequality. Information of message Y in message X. Codes, prefix codes, nonsingular codes. Kraft-MacMillan's inequality. 13 Estimation of the average codelength by means of entropy. Huffman codes. Data compression using the law of large numbers. Typical messages. Entropy speed of stationary sources. 14 Information channel and its capacity. Basic types of information channels. Shannon's coding theorem. Universal compression. Ziv-Lempel codes.

Osnovy cvičení:

 1 Elementary probability. Random variables and their description. 2 Mean and variance of random variables. Unary operations with random variables. 3 Random vector, joint distribution. 4 Binary operations with random variables. Mixture of random variables. Central limit theorem. 5 Sample mean, sample variance. Method of moments, method of maximum likelihood. 6 Interval estimates of mean and variance. 7 Hypotheses testing. 8 Least squares method. 9 Goodness-of-fit tests. 10 Discrete random processes. Stationary processes. Markov chains. 11 Shannons's entropy of a discrete distribution and its axiomatical formulation. Theorem on minimal and maximal entropy. Conditional entropy. Chain rule. Subadditivity. Entropy of a continuous variable. 12 Fano's inequality. Information of message Y in message X. Codes, prefix codes, nonsingular codes. Kraft-MacMillan's inequality. 13 Estimation of the average codelength by means of entropy. Huffman codes. Data compression using the law of large numbers. Typical messages. Entropy speed of stationary sources. 14 Information channel and its capacity. Basic types of information channels. Shannon's coding theorem. Universal compression. Ziv-Lempel codes.

Literatura:

 [1] Papoulis, A.: Probability and Statistics, Prentice-Hall, 1990. [2] Stewart W.J.: Probability, Markov Chains, Queues, and Simulation: The Mathematical Basis of Performance Modeling. Princeton University Press 2009. [3] David J.C. MacKay: Information Theory, Inference, and Learning Algorithms, Cambridge University Press, 2003.

Linear Algebra, Calculus, Discrete Mathematics

Poznámka:

 Podmínkou získání zápočtu je aktivní účast na cvičeních a vypracování Rozsah výuky v kombinované formě studia: 28p+6s

Webová stránka:

http://math.feld.cvut.cz/helisova/01pstimfe.html

Předmět je zahrnut do těchto studijních plánů:

 Plán Obor Role Dop. semestr BEKME_BO Před zařazením do oboru V 3 BEKME5 Komunikace a elektronika V 3 BEKME4 Síťové a informační technologie V 3 BEKME3 Aplikovaná elektronika V 3 BEKME2 Multimediální technika V 3 BEKME1 Komunikační technika V 3 BEKYR1 Robotika P 3 BEKYR3 Systémy a řízení P 3 BEKYR_BO Před zařazením do oboru P 3 BEKYR2 Senzory a přístrojová technika P 3 BEEEM1 Aplikovaná elektrotechnika V 3 BEEEM_BO Před zařazením do oboru V 3 BEEEM2 Elektrotechnika a management V 3 BEOI1 Počítačové systémy P 3 BEOI3 Softwarové systémy P 3 BEOI_BO Před zařazením do oboru P 3 BEOI2 Informatika a počítačové vědy P 3

 Stránka vytvořena 22.3.2019 17:48:16, semestry: Z,L/2020-1, L/2019-20, Z,L/2018-9, Z/2019-20, připomínky k informační náplni zasílejte správci studijních plánů Návrh a realizace: I. Halaška (K336), J. Novák (K336)
Za obsah odpovídá: doc. Ing. Ivan Jelínek, CSc.