Een Markovmodel is een stochastische methode voor willekeurig veranderende systemen waarbij wordt aangenomen dat toekomstige toestanden niet afhangen van vroegere toestanden. Deze modellen tonen alle mogelijke toestanden, evenals de overgangen, de snelheid van de overgangen en de waarschijnlijkheden tussen deze toestanden.
Markovmodellen worden vaak gebruikt om de waarschijnlijkheid van verschillende toestanden en de snelheid van de overgangen tussen deze toestanden te modelleren. De methode wordt over het algemeen gebruikt om systemen te modelleren. Markovmodellen kunnen ook worden gebruikt om patronen te herkennen, voorspellingen te doen en de statistiek van sequentiële gegevens te leren.
Er zijn vier typen Markovmodellen die situationeel worden gebruikt:
- Markovketen - gebruikt door systemen die autonoom zijn en volledig waarneembare toestanden hebben
- Verborgen Markovmodel - gebruikt door systemen die autonoom zijn en waarvan de toestand gedeeltelijk waarneembaar is.
- Markov-beslissingsprocessen - gebruikt door gecontroleerde systemen met een volledig waarneembare toestand.
- Partieel waarneembare Markov-beslissingsprocessen - gebruikt door gecontroleerde systemen waarbij de toestand gedeeltelijk waarneembaar is.
Markov-modellen kunnen worden uitgedrukt in vergelijkingen of in grafische modellen. Grafische Markov-modellen maken meestal gebruik van cirkels (die elk toestanden bevatten) en richtingspijlen om mogelijke overgangsveranderingen tussen die toestanden aan te geven. De richtingspijlen worden gelabeld met de snelheid of de variabele voor de snelheid. Toepassingen van Markov-modellering zijn onder meer het modelleren van talen, natuurlijke taalverwerking (NLP), beeldverwerking, bio-informatica, spraakherkenning en het modelleren van computerhardware en -softwaresystemen.
Markov-modellen zijn genoemd naar hun schepper, Andrej Markov, een Russisch wiskundige in de late jaren 1800 tot begin 1900.