Teorien om den stokastiske Markoff-proces er udviklet af den russiske
matematiker A. A. Markoff (1856-1922).

Som grundlag for den videre behandling indføres følgende forudsætninger,
terminologi og definitioner:

Forudsætninger

1. Alle forekommende betingede sandsynligheder er defineret.

2. Hvert forsog har som udfald et og kun et resultat (E), der er endeligt
eller tselleligt, saledes at resultaterne £1, £2, £3 indbyrdes
udelukker hinanden.

3. Udfaldene (resultaterne) kaldes tilstande.

Ej angiver, at systemet befinder sig i tilstand j.

EjW angiver, at systemet befinder sig i tilstand j ved det &'te forsøg.

£ fo) angiver, at et systems initialtilstand (dvs. inden udførelsen af
førsteforsøg) er tilstand ;'.

4. ptjW angiver den betingede sandsynlighed for, at et system befinder
sig i tilstand j efter det Æ'te forsøg, når det &—l'te forsøg befandt
sig i tilstand i, hvilket kan udtrykkes således:

---

*) Civilingeniør, amanuensis.

**) Cand. mere, amanuensis, Institut for Organisation og Virksomhedsledelse, Handelshøjskolen i Århus.

Definitioner

1. En følge af forsøg siges at danne en Markoff-kæde, når følgende
ligning er opfyldt for vilkårlige værdier af i, j, k = 1, 2, 3, . . . n.
PtP) = p (£,(*) | £,(*-«) = f> (£,(*> | £,»_!(*-« . . . EtlM,
£;;0(0)), hvor leddene Eikk_2(k-2), •• •• &i(1), &o(o) er vilkårlige.
Denne definition indebærer, at der er tale om en Markoff-kæde, når
sandsynligheden for overgang til en given tilstand alene er bestemt
af den nærmest foregående tilstand i kæden (forsøgsrækken).

2. En forsøgsrække danner en homogen Markoff-kæde, når sandsynligheden
pijW ikke er afhængig af k. Dette kan også udtrykkes
således:
pijW =pa k=1,2,3...n.
En homogen Markoff-kæde er således et stokastisk system, hvor
overgangssandsynlighederne er konstante.
Vi får herved følgende formel for en homogen Markoff-kæde:
P (£' fo Eh ... Ein) =P (Ei0) P (Eh | Eio)Ei0) ... P (Ein | Ein^) =
P(£ f0)f0) pioh •■ -pin-lin,n-lin, der udtrykker sandsynlighedsproduktet for
Ei0 Eii Ei2 ... Ei„, hvor Ei0 E^ Ei2 ...EEn er tilstande i n efter hinanden
følgende forsøg. Af denne formel ser vi, at sandsynligheden
for et vilkårligt produkt af tilstande er givet, når man kender alle
overgangssandsynlighederne pi. og alle initialsandsynlighederne
P (Ei) for i = 1, 2, 3 ... s.

Overgangsmatrice

Et system af tilstande (Ej) vil grafisk kunne vises i et »dynagram«,
som er vist i fig. 1.

I dynagrammet angiver abscisseaksen i overensstemmelse med den opstillede terminologi de forskellige tilstande (Et), som systemet kan indtage for 1 i s, medens ordinataksen giver udtryk for forsøgsrækken 0 k n.

Såfremt man måtte ønske at lade forsøgsrækken udtrykke systemets
tidsdimension, vil k kunne udtrykke tidspunkter og eventuelt erstattes
med symbolet t.

Af dynagrammet fig. 1 vil det fremgå, at den betingede sandsynlighed
for indtagelse af tilstandene 1 til s i et forsøg (skridt) vil kunne
udtrykkes ved en matrice af første orden (M^) som vist i fig. 2.

I det specialtilfælde, hvor systemet danner en homogen Markoffkæde, er ovennævnte matrice uafhængig af hvilket sted i forsøgsrækken (0 k n), der vælges som udgangspunkt. Da matricens enkelte elementer er sandsynligheder, har vi, at 0 pa 1.

Da resultaterne Ej som tidligere anfort udelukker hinanden indbyrs

des, har vi desuden for i=l, 2, 3.. .s,atP (21 Ej) \Ei = 2pa =1,
raskkeelementernes sum lig 1. onsker man nu at opstille en sandsynlighedsmatrice
for den betingede sandsynlighed for indtagelse af tilstandene
1 til s i to forseg (k = 2), vil de enkelte elementer i matricen
kunne udregnes som en transformation af de enkelte elementer i M(1).

Ifolge dynagrammet fig. 1 finder vi saledes elementet />u(2) som

Gennem sadanne transformationer, der svarer til matricemultiplikationen
Af(1) • M(1), far vi saledes en matrice af anden orden Af(2).

Af dynagrammet fig. 1 vil det videre fremgå, at matricen af tredie
orden M(3) vil kunne udregnes som et produkt af Mw og M(2).

Helt generelt har vi herefter M<ⁿ⁾ = M^-^1] - M(1)M⁽¹⁾ = (M^)ⁿ. Med udgangspunkt i systemets initialværdier og de udregnede matricer M^{k\ 0 k n, vil vi herefter kunne beregne systemets tilstandssandsynligheder i forsøgsrækken som

Sammensatte systemer

I overensstemmelse med de opstillede forudsætninger har vi i det
foregående udelukkende beskæftiget os med enkeltsystemer, hvor de

enkelte tilstande indbyrdes udelukker hinanden, således at systemet
efter et vilkårligt valgt antal forsøg (på et vilkårligt valgt tidspunkt)
kun kan antage én af de mulige tilstande £,•(;'= 1, 2, 3 ... s).

Sandsynligheden for indtagelse af en bestemt tilstand Ej i et bestemt
forsøg k vil kunne aflæses af fig. 3.

Definerer vi nu et sammensat system som et system, der bestar af et
antal (h) delsystemer (h = 1, 2, 3 .. .), far vi en ny systemtype, som
efter et givet antal (k) forseg (0 k n) vil antage en tilstand. Denne
tilstand er karakteriseret af en given sammensaetning af delsystemtilh

stande, ialt S\ •$2•ss... sv. ..Sh=n sy, hvor sy angiver det antal tily--=i

stande som det ;y'te delsystem kan indtage.

I det tilfælde, hvor tilstandsmulighederne Ej (1 ; s) er identiske for alle delsystemer i det sammensatte system (dvs. s_y = s for y = I, 2, 3 ... h og overgangssandsynlighederne pa ens for de enkelte systemer) samtidig med, at der er uafhængighed de enkelte systemer imellem, taler vi om et harmonisk sammensat system.

Antallet af tilstande, som det sammensatte system vil kunne indtage,
kan herefter bestemmes som F (s, h) == sh, hvor

s = antal mulige tilstande for delsystemerne (s = 1, 2, 3 . . .)

h = antal delsystemer (h — 1, 2, 3 .. .)

I ovennævnte tilfælde står vi overfor en fuldstændig beskrivelse af
det sammensatte system.

I mange praktiske tilfælde vil en sådan beskrivelse imidlertid kunne give overinformation, idet det ofte vil være tilstrækkeligt at karakterisere det sammensatte systems tilstand alene ved det antal delsystemer, som indtager hver af de mulige tilstande for delsystemerne.

Antallet af tilstande for et sådant delvis beskrevet sammensat system
vil kunne bestemmes som

hvor h og s står for de tidligere nævnte faktorer.

En sammenføring af de to funktionsværdier viser, at F(s,h) G(s,h).

Benævner vi nu antallet af delsystemer, der indtager tilstanden Ej ved
det &'te forsøg med a;(Æ), vil det sammensatte systems tilstand kunne
bestemmes af vektoren

G angiver, at det er et delvis beskrevet sammensat system.
Er et sammensat systems tilstand bestemt gennem ovennævnte vektor,

er det herefter muligt at beskrive dets forventede tilstand efter det
(/e + 1)' te forseg ved

Dette kan mere generelt udvides til

Vender vi herefter tilbage til dynagrammet fig. 1, vil det sammensatte
systems initialtilstande £ f 0)f0) få tilført en ny dimension i form af faktoren

Anvender vi herefter sandsynlighedsmatricen fig. 2, vil det sammensatte
systems tilstandsvektor efter k forsøg kunne udtrykkes som
e(AGW) = AOW-{MMA0W-{MM)k eller

På grundlag af dynagrammet fig. 1 og de heraf udledede sandsynlighedsmatricer af stigende orden, vil vi herefter kunne gennemføre en successiv beregning af tilstandsvektoren for det delvis bestemte homogene sammensatte system og får herved tilsvarende fig. 3 et udtryk for det sammensatte systems tilstandsudvikling for 0 k ni fig. 4.

Systemets ligevægtstilstand

Såfremt forsøgsrækken danner en homogen Markoff-kæde (se def. 2),
vil systemet, under forudsætning cif opfyldelsen af den ergodiske sætning
(se næste afsnit), efter et vist antal forsøg opnå en ligevægtstilstand.

For det enkelte systems vedkommende fås af ligningen

at

således at

xri * - — irj. > '

Det vil således være muligt at beregne systemets ligevægtstilstand
med kendskab til systemets initi al tilstand og sandsynlighedsmatricen af
første orden.

Ovennævnte betragtninger vil umiddelbart kunne overføres på et
delvis beskrevet harmonisk sammensat system, hvor vi af ligningen

får

eller

Den ergodiske sætning

Til nærmere belysning af den ergodiske sætnings indhold og dermed
en undersøgelse af forudsætningen for opnåelse af ligevægtstilstanden,
skal følgende anføres:

Definition 3

En tilstand Ei siges at være »udgående«, når der findes en tilstand
Ej og et heltal k, således at

Definition 4

En tilstand Ei siges at være »stadig mulig«, hvis eksistensen af et
heltal k med egenskaben pu^ > 0 medfører eksistensen af et heltal m
med egenskaben pa^ > 0.

Definition 5

En »stadig mulig« tilstand Ei benævnes periodisk (svingende), når der
findes et heltal d > 1, således at det gælder for alle med d ikke delbare
n, at f»«(») = 0.

Den ergodiske sætning

Sætningen, der gælder i de tilfælde hvor M^ = {pa} er sandsynlighedsmatricen
for en homogen Markoff-kæde med uendelig mange
tilstande E1 ... Es, lyder således:

Når der findes et heltal k, således at sandsynlighedselementerne pn{h)
fra matricen M^ i mindst én søjle har den egenskab, at samtlige elementer
i søjlen er større end å > 0, gælder det, at

hvor pj d for alle sojler, hvis minimumselementer er storre end d.

Vi far da, at indtagelsen af en tilstand Ei for n->°° er uafhasngig af
udgangssituationen.

Desuden far vi i dette tilfselde, at

hvor

pj = graensevaerdi (ligevaegtstilstand)

= antal sojler (tilstande), bvori der ikke forekommer 0 efter k
forsog.

At den anførte differens er numerisk indebærer, at systemets tilstandsværdier
kan svinge på begge sider af ligevægtstilstanden.

Ovennævnte ulighed vil kunne benyttes til forudberegning af et systems
forsøgsmæssige afstand fra ligevægtstilstanden, idet det gælder
for et vilkårligt tilstandselement, at

hvor summationen på højre side af ulighedstegnet udstrækkes over de
;'-værdier, der svarer til de søjlenumre i sandsynlighedsmatricen af Æ'te
orden, hvor det gælder, at minimumselementerne > d.

Anvendelsesmuligheder belyst ved eksempler

Den følgende behandling af den opstillede teoris anvendelsesmuligheder vil tage sit udgangspunkt i en række simple praktiske problemsituationer, idet vi starter med at tænke os 2 virksomheder A og B, der hver tilbyder et produkt a og b til et fælles marked.

Tænker vi os videre tidsfølgen opdelt i en række af lige store afsætningsperioder, vil vi på et givet tidspunkt kunne karakterisere markedets enkelte kundeemner ved deres forbrugsvaner, idet vi opstiller følgende 3 tilstandsmuligheder, der indbyrdes udelukker hinanden.

Tilstand 1. Hverken forbruger af vare a eller b

Tilstand 2. Forbruger af vare a

Tilstand 3. Forbruger af vare b

Den i det foregående udviklede teori vil herefter kunne benyttes til
opstilling af en model, der indeholder ovennævnte problemsituation.

Tænker vi os nu en situation, hvor det enkelte kundeemne fra afsætningsperiode til afsætningsperiode overgår fra tilstand til tilstand med konstante sandsynligheder, kan vi opfatte det enkelte kundeemne som et delsystem og markedet (mængden af kundeemner) som et harmonisk sammensat system.

Endvidere tænker vi os indført følgende forudsætninger m. h. t
markedets købevaner:

Et kundeemne, der i en periode hverken har købt vare a eller b, køber med 50 % sandsynlighed heller ingen af de to varer i den nærmest følgende afsætningsperiode (pn = 0,5) og med 25 % sandsynligheden for køb af de to varer er lige stor (p22 == £23 — 0,5).

Et kundeemne, der i en periode har købt vare a, køber med sikkerhed
en af varerne i den næstfølgende afsætningsperiode, idet sandsynligheden
for køb af de to varer er lige stor (P22 =■- pp2s = 0,5).

Et kundeemne, der i en periode har købt vare b, køber i den nærmest følgende periode med 50 % sandsynlighed igen vare b (p33 = 0,5) og går med 25 % sandsynlighed over til at købe vare a (f?32 = 0,25) eller hverken vare a eller b (f »31 = 0,25).

Forudsættes det yderligere, at delsystemernes overgangssandsynligheder er identiske for de enkelte delsystemer, vil vi på grundlag af ovennævnte oplysninger kunne opstille sandsynlighedsmatricen for delsystemerne

Som det fremgår af indiceringen (1), omfatter de opstillede overgangssandsynligheder
2 på hinanden følgende afsætningsperioder.

Da det i praksis normalt vil véere tilstrækkeligt at foretage en delvis
beskrivelse af det sammensatte system, hvilket i det aktuelle tilfælde

vil sige, at vi ikke identificerer de enkelte kundeemner, men kun interessereros for antallet af kundeemner, der i en given afsætningsperiode befinder sig i en given tilstand, kan vi beskrive markedets udvikling ved en række vektorer, der for hver afsætningsperiode angiver det sammensattesystems

Forudsætter vi videre, at markedet omfatter 1296 kundeemner, og at
vi på beregningstidspunktet (initialtilstand) har en markedssituation,
hvor

kan vi beregne det aktuelle, delvis beskrevne, sammensatte systems tilstandsmuligheder

Endvidere kan vi opstille systemets tilstandsvektor i initialsituationen
som

og udregne systemets tilstandsvektor efter 1. afsaetningsperiode som

Efter udregning af sandsynlighedsmatricen af 2' orden som

vil vi kunne udregne tilstandsvektoren efter 2 afsætningsperioder som

På lignende måde vil man, under forudsætning af opfyldelse af den
ergodiske sætnings krav, kunne udregne systemets ligevægtstilstand som

Svarende til fig. 4 vil systemets tilstandsudvikling kunne vises tabellarisk

I praksis vil man ofte støde på den vanskelighed, at overgangssandsynlighederne ikke er kendte på beregningstidspunktet, hvilket imidlertid ikke nødvendigvis umuliggør modellens anvendelighed, idet man i de tilfælde, hvor der foreligger et relevant historisk talmateriale til fastlæggelse af tidligere tilstandsvektorer, vil kunne benytte denne information til bestemmelse af overgangssandsynlighederne. Således vil man i mange praktiske tilfælde have en situation, hvor en virksomhed på grundlag af bogholderi og feller salgsstatistikker er i stand til at specificere salget i et større eller mindre antal fortidige afsætningsperioder.

Man kan i sådanne tilfælde starte med en beskrivelse af dette historiske

Karakteriserer man således markedssituationen, f. eks. set fra virksomhed
A's synspunkt ved følgende tilstandsmuligheder for de enkelte
kundeemner:

Tilstand 1. Forbruger af vare a

Tilstand 2. Ikke forbruger af vare a

og forudsætter vi som tidligere konstante overgangssandsynligheder, kan
vi opstille følgende udtryk til beskrivelse af virksomhedens afsætning i
en given periode

hvor

Xi = afsætning i periode i

pi2 = sandsynligheden for overgang fra tilstand 1 til tilstand 2

p2i = sandsynligheden for overgang fra tilstand 2 til tilstand 1.

N = total antal kundeemner

Dette giver mulighed for opstilling af følgende sandsynlighedsmatrice:

Udtrykket for salgstallene kan omskrives til

der kan opfattes som et lineært udtryk af formen

hvor vi har en række observerede, sammenhørende y- og x-værdier til
bestemmelse af parametrene a og b.

Anvender vi på dette udtryk »mindste kvadraters metode«, får vi til
bestemmelse af a og b:

hvor n angiver antal observationssæt.

Følgende simple eksempel viser den praktiske fremgangsmåde. Vi
tænker os følgende historiske talmateriale opstillet i tabelform:

hvor

x = salget i periode i (modellens uafhængige variable)

y= salget i periode i-\-1 (modellens afhængige variable)

Heraf får vi

der giver følgende udtryk til successiv beregning af afsætningen:

Af det foregående fremgår det, at kendskabet til værdien af N (antal delsystemer i det sammensatte system) ikke er nødvendig for modellens opstilling, ligesom de opnåede resultater vil være uafhængige af N's værdi.

Ønsker vi videre at beregne det opstillede systems ligevægtstilstand,
vil vi på grundlag af ovennævnte udtryk kunne finde overgangssandsynlighederne

hvorefter ligevægtstilstanden kan udtrykkes som

Ved anvendelse af de tidligere angivne beregningsregler får vi følgende
udtryk for ligevægtsmatricen:

hvorefter ligevægtsvektoren (markedets afsætningssituation i ligevægtstilstanden)
beregnes som:

der angiver, at virksomhed a kan forvente at afsætte 8 vareenheder i
ligevægtstilstanden.

Af ovennævnte udtryk vil man bemærke, at ligevægtsvektorens første element (A's afsætning i ligevægtstilstanden) er uafhængig af N (markedets totale antal kundeemner), ligesom det første element i udgangsvektoren er uden indflydelse på ligevægtsvektoren.

Den ovenfor beskrevne model¹) vil som tidligere anført kunne anvendes i en lang række praktiske tilfælde og rummer blandt andet den fordel, at man har mulighed for at anlægge en statistisk vurdering af talmaterialets tilpasning til modellen, f. eks. gennem et linearitetstest, og derved begrænse anvendelsen til de tilfælde, hvor situationen tillader

I de tilfælde, hvor modellen således findes uegnet til beskrivelse af talmaterialet, vil det kunne blive nødvendigt at udvide modellen, f. eks. gennem indførelse af flere tilstandsmuligheder. En fremgangsmåde, som naturligvis på lignende måde stiller krav til en tilsvarende specificering af talmaterialet, f. eks. i form af bestemmelsen af en eller flere konkurrenters

En udvidelse af modellen vil, hvor det findes hensigtsmæssigt, yderligere kunne give mulighed for at arbejde med variable overgangssandsynligheder, således at disse opfattes som funktioner af tiden og en række for det enkelte tilfælde relevante handlingsparametre (f. eks. salgsindsats, prisændringer, produktudvikling).

I sidstnævnte tilfælde vil man almindeligvis ikke kunne påregne at
nå en ligevægtstilstand for systemet, hvorimod man vil kunne beskrive
markedsudviklingen inden for en kortere eller længere interessehorisont.

Til slut skal det fremhæves, at de opstillede eksempler efter forfatternes mening kun giver et meget begrænset indtryk af de opstillede tankeganges praktiske anvendelsesmuligheder, ligesom der med fordel vil kunne videreudvikles modeller til mere specielle formål.

---

1) På grundlag af den anførte modelbeskrivelse er der ved Institut for Organisation og Virksomhedsledelse i Århus udarbejdet programmer for elektronisk databehandling af foreliggende praktisk talmateriale.

Litteraturhenvisning:

M. Fisz: Wahrscheinlichkeitsrechnung und Mathematische Statistik, Berlin 1962.