EDAN20F

Tillfällig

Språkteknologi

Language Technology

7.5

Gemensam kurs, avancerad nivå och forskarnivå

7121 (Datavetenskap (LTH))

 -03-22

Professor Thomas Johansson

Engelska

En gång per termin

Under de senaste 15 åren har de språkteknologiska metoderna mognat avsevärt på grund av att mängden tillgänglig skriven och talad information har ökat kraftigt, vilket har lett till ökande behov av att behandla den automatiskt. Fastän de flesta datorsystem inte enbart ägnar sig åt språkbehandling så finns det numera många applikationer som i någon mån är "språkmedvetna" och har inbyggda språkteknologiska funktioner såsom stavnings- och grammatikkontroll, sökning och sammanfattning av information eller ett talbaserat dialoggränssnitt. Detta gör att fältet är av ökande betydelse för CS-ingenjörer.

Kursen ger en inledning till språkteknologins metoder. Den försöker täcka hela fältet från teckenkodning och statistiska språkmodeller till syntaktisk analys, semantik och dialogsystem. Kursen inriktar sig på välbeprövade tillämpningar i industriell skala eller på försöksnivå.

In the past 15 years, language technology has considerably matured driven by the massive increase of textual and spoken data and the need to process them automatically. Although there are few systems entirely dedicated to language processing, there are now scores of applications that are to some extent "language-enabled" and embed language processing techniques such as spelling and grammar checkers, information retrieval and extraction, or spoken dialogue systems. This makes the field form a new requirement for the CS engineers.

The course introduces theories used in language technology. It attempts to cover the whole field from character encoding and statistical language models to semantics and conversational agents, going through syntax and parsing. It focuses on proven techniques as well as significant industrial or laboratory applications.

En översikt över språkteknologi: delområden, tillämpningar och exempel.
Korpuslingvistik: Reguljära uttryck, ändliga automater, introduktion till Perl, konkordanser, tokenisering, frekvenslistor, kollokationer.
Morfologi och ordklasstaggning: Morfologi, transduktorer, ordklasstaggning.
Frasstrukturgrammatiker i Prolog: Konstituenter, syntaxträd, DCG-regler, unifiering.
Partiell parsning: Detektering av multiord, detektering av substantivgrupp och verbgrupp, informationsextrahering, utvärdering.
Syntaktiska formalismer: Konstituens och dependens, funktioner. Parsning, statisktisk parsning, dependensparsning.
Semantik: Formell semantik, lambda-kalkyl, lexikal semantik, predikat-argument-struktur, ramsemantik, semantisk parsning.
Diskurs och dialog: Referens och koreferens, diskurs och retorik, diskursrelationer, analys av diskursrelationer, dialog, talhandling, multimodalitet.

An overview of language technology: disciplines, applications, and examples
Corpus and word processing: regular expressions, automata, an introduction to Perl, concordances, tokenization, counting words, collocations
Morphology and part-of-speech tagging: word morphology, transducers, part-of-speech tagging,
Phrase-structure grammars: constituents, trees, DCG rules, unification.
Partial parsing: multiword detection, noun group and verb group extraction, information extraction, evaluation
Syntax: formalisms, constituency and dependency, functions, parsing, statistical parsing, dependency parsing.
Semantics: formal semantics, lambda-calculus, lexical semantics, predicate--argument structures, frame semantics, semantic parsing.
Discourse and dialogue: reference and coreference, discourse and rhetoric, discourse relations, parsing discourse relations, dialogue automata, speech acts, multimodality.

Förstå fältet av språkteknologiska metoder och viktiga applikationer som använder dem
Känna till de viktigaste teknikerna, grundläggande algoritmer och allmänna arkitekturer som används i applikationer
Skapa och konstruera språkbehandlingsalgoritmer. Skriva, tolka, utvärdera och förbättra dem under laborationerna.

Understand the field of language technology and major applications using them
Know the most important techniques, fundamental algorithms, and most common architectures used in applications
Create and implement language processing algorithms. Write, interpret, evaluate, and improve them during the programming laboratories.

Förstå och utveckla annoteringsscheman, skapa och bearbeta strukturerade dokument
Förstå och skriva reguljära uttryck och använda dem i programmeringsspråk som Perl eller Java
Använda logik och logikprogrammeringsspråk som Prolog- eller beskrivningslogik
Förstå och använda maskininlärningsalgoritmer och statistiska tekniker
Utveckla och utvärdera algoritmer i de viktiga fälten av språkteknologier, språkmodellering, partiell parsning, dependensparsning, semantisk parsning genom att använda verkliga data

Understand and develop annotation schemes, create and process structured documents
Understand and write regular expressions and use them in languages like Perl or Java
Use logic and a logic programming language like Prolog
Understand and use machine--learning algorithms and statistical techniques
Develop and evaluate algorithms in major fields of language technology: language models, partial parsing, dependency parsing, and semantic parsing using real data.

Visa nyfikenhet, kreativitet och förmåga till problemlösning
Visa förståelse för industriella och forskningsrelaterade frågor i språkteknologiområdet

Show curiosity, creativity, and problem solving aptitudes
Show an understanding of industrial and research issues in language technology

Föreläsningar

Laborationer

Skriftlig tentamen

Underkänd, godkänd

EDAA01 Programmeringsteknik - fördjupningskurs

EDAA01 Programming - Second Course

Language Processing with Perl and Prolog, Theories, Implementation, and Application. Pierre Nugues, 2014. ISBN 9783642414640.

EDAN20F

 -03-22

Professor Thomas Johansson