(1) Da studente upozna sa osnovama teorije informacija. (2) Da studentima dâ dobru teorijsku podlogu iz kompresije podataka, telekomunikacionog kanala i zaštitnog kodovanja (3) Da studentima ukaže na značaj prve i druge Šenonove teoreme, kao i ograničenja koja iste postavljaju.
Nakon uspješno završenog kursa studenti će biti u stanju da: (1) Odrede entropiju izvora informacija sa diskretnim alfabetom bez memorije. (2) Odrede entropiju jezika kao izvora informacija sa memorijom. (3) Konstruišu kompaktne statističke kodove. (4) Odrede efikasnost osnovnih algoritama kompresije podataka. (5) Proračunaju kapacitet osnovnih modela telekomunikacionih kanala bez memorije. (6) Izvrše dekodovanje konvolucionih kodova Viterbijevim algoritmom.
Entropija. Markovljevi izvori. Diskretni i kontinualni izvori informacija. Statističko kodovanje. Optimalni prefiksni kod (Hafmanov kod). Aritmetičko kodovanje. Univerzalni kodovi. Lempel-Zivovi algoritmi. Modeli diskretnog kanala i kapacitet kanala. Osnovni elementi zaštitnog kodovanja. Teorema o kanalnom kodovanju. Konvolucioni kodovi i algoritmi za njihovo dekodovanje.
Studijski program: Elektronika i telekomunikacije
Status predmeta: Obavezan (T)
Semestar: VIII
Fond časova: 2+2+1
Broj ECTS bodova: 6
Nastavnik: prof. dr Vojin Šenk
Saradnik: -