Grunderna inom informationsteori
Fundamentals of Information Theory

EIT145F, 7,5 högskolepoäng

Gäller från och med: Vårterminen 2016
Beslutad av: Professor Thomas Johansson
Datum för fastställande: 2016-11-02

Allmänna uppgifter

Avdelning: Inst för elektro- och informationsteknik
Kurstyp: Ren forskarutbildningskurs
Undervisningsspråk: Engelska

Syfte

Informationsteorin undersöker grundläggande gränserna för överföring och lagring av information. Kursen är uppdelad i två delar. Syftet med del I är att introducera de grundläggande metoderna inom informationsteorin, med fokus på klassiska punkt-till-punkt överföringsscenarier. Denna del grundar sig på utvalda kapitel i boken av Cover / Thomas, som används i stor utsträckning för att undervisa informationsteori på forskarnivå. I del II utvidgas perspektivet till kommunikationsscenarier med flera användare, och följer utvalda delar från boken av El Gamal / Kim, som ger en bra överblick över aktuella resultat inom området. Med hjälp av dessa två böcker blir kursen både aktuell och fristående så att inga tidigare förkunskaper inom informationsteori krävs.

Mål

Kunskap och förståelse

För godkänd kurs skall doktoranden

• vara väl förtrogen med allmäna informationsteoretiska metoder
• kunna redogöra för bevis av källkodningssatsen och kanalkodningssatsen
• förstå hur begrepp och bevis generaliseras till scenarion med flera användare

Färdighet och förmåga

För godkänd kurs skall doktoranden

• kunna tillämpa informationsteoretiska metoder för att få fram grundläggande gränser för olika kommunikationsscenarion
• ha tillägnat sig tillräckligt med kunskaper inom området för att kunna diskutera informationsteoretiska problem med etablerade forskare

Värderingsförmåga och förhållningssätt

För godkänd kurs skall doktoranden

• ha visat förmågan att självständigt urskilja viktig innehåll från ett omfattande dokument, såsom en lärobok
• ha visat förmågan att reflektera över materialet i kursen och att förstå möjligheter och begränsningar implicerade av informationsteoretiska gränser

Kursinnehåll

Del I: entropi, ömsesidig information och deras egenskaper, typiska följder, datakomprimering, källkodningssatsen, kanalkapacitet , kanalkodningssatsen, kontinuerliga stokastiska variabler, differentiell entropi, Gauss-kanaler Del II: fleranvändarkanaler, broadcast-kanaler, interferenskanaler, kanaler med tillstånd: "writing on dirty paper", distribuerad kompression: Slepian-Wolfs sats, Gauss vektorkanaler, trådlösa fädande kanaler, reläkanaler

Kurslitteratur

• Thomas M. Cover, Joy A. Thomas: Elements of Information Theory. Wiley, 2006.
• Gamal, A. & Kim, Y.: Network Information Theory. Cambridge University Press, 2011. ISBN 9781107008731.

Kursens undervisningsformer

Undervisningsformer: Föreläsningar, övningar. Syftet med övningarna är att diskutera hemuppgifterna. Doktoranderna ska presentera och diskutera olika sätt att lösa problemen.

Kursens examination

Examinationsformer: Muntlig tentamen, inlämningsuppgifter. Närvaro på åtminstone 80% av föreläsningar och övningslektioner krävs för att bli godkänd på kursen.
Betygsskala: Underkänd, godkänd
Examinator:

Antagningsuppgifter

Förutsatta förkunskaper: Grundlig kunskap inom ingenjörsmatematik, inklusive sannolikhetsteori, linjär algebra och analys.

Övrig information

Kursansvarig: Michael Lentmaier

Kurstillfällesinformation

Kontaktinformation och övrigt

Kursansvarig: Michael Lentmaier <michael.lentmaier@eit.lth.se>