MARKOV ZİNCİRLERİ (MARKOV CHAIN)

Markov Zincirleri

Markov Zincirleri, dinamik ve stokastik sistemlerin analizinde ve özellikle bir sistemin zaman boyunca içinde bulunabileceği farklı durumlar (states) arasında yaptığı hareketlerin incelenmesinde yaygın olarak kullanılan modellerdir. Markov Zincirlerinin sistemin belli bir anda bulunacağı durumu tahmin etmesinin yanında, sistemin uzun dönemde (denge durumu, steady state) bulunacağı durumu tahmin etme yeteneği de vardır (Başak, 2006). Başka bir deyişle şu anda meydana gelen bir eylemin gelecekteki durumu hakkında bilgi vermeyi sağlayan bir tekniktir.

            Verilen bir sistemin durumu sabit veya tesadüfi zaman aralıklarında olasılıklı biçimde değişebiliyorsa stokastik süreç vardır. Markov analizinde verilen durumdan daha ileri geçiş olasılığı, onun ulaştığı biçime değil, sadece şimdiki duruma bağlı olma özelliğini bulunduran rassal bir süreçtir. Buna göre denilebilir ki, geçmişteki ve şimdiki faaliyetlerin olasılıklarından yararlanarak onların gelecekteki olasılıklarım belirlemek Markov analizinin temelini oluşturmaktadır (Aktaran;Öztürk,1997, Aktarılan; Çöloğlu,2006).

             Markovyen özellik, sistemin şimdiki durumu ve geçmişteki bulunduğu durumlar biliniyor olsun; buna göre sistemin gelecekteki durumunun koşullu olasılığı şimdiki durumuna bağlı olup, geçmişteki durumlardan bağımsızdır. Markov’un özelliğini sağlayan stokastik süreçlere markov süreçleri denmektedir. Örneğin hastanın herhangi bir gündeki sağlık durumunun (kritik, normal, iyi, vs.) olasılığı, sadece bir önceki gün bulunduğu duruma bağlı ise bu bir markov sürecidir(Kaya, 2015).

Markov Modelinin Tanımı

N sayıda zaman noktasının herhangi bir (t_1, t₂, t₃, t_4,…….,t_n ) kümesi için Xt ‘nin koşullu olasılığı;  X_t1, X_t2, X_t3,…….., X_t(n-1)’nin verilen değerlerinden yalnızca X_t(n-1)’nin değerine bağlıysa, Xt stokastik sürecine Markov Süreci denir(Aktaran;Cinemre, 1997: 356, Aktarılan; Akyurt, 2005).  Bir süreç içinde oluşabilecek tüm mümkün şartlar durum olarak ifade edilir. Örneğin bir makine herhangi bir zaman noktasında düzgün veya hatalı olarak çalışabileceğinden bu süreç içerisinde oluşabilecek iki durum bulunmaktadır. Burada olayların birbirinden ayrık olması gerekmektedir.

π (t) t zamanındaki durumların olasılıkları göstermek üzere, n adet durum söz konusu olduğunda π(t)= (π_1, π_2,……., π_n) şeklinde ifade edilen t zamanındaki 1’den n’e kadar tüm durumların olasılık dağılımıdır. Sürecin veya zincirin tüm mümkün değerleri negatif olmayan tamsayılarla sembolize edilmiştir. Burada X_t =i_t ise:

şeklinde gösterilen denklem Markov Zinciri olacaktır. Burada, bir sonraki zamanda oluşacak durum, yalnızca şimdiki zamandan yani Xt durumundan etkilenecektir, geçmiş zamanlardaki durumlardan tamamen bağımsız olacaktır (Aktaran; Ross, 2003: 181, Aktarılan; Akyurt, 2005). X_n’in i durumunda olduğu bilindiğinde;  X_n+1’de j durumunda olma olasılığı tek-adımlı geçiş olasılığı (one-step transition probability) olarak adlandırılır (Aktaran: Taylor ve Karlin, 1984; 68, Aktarılan: Akyurt, 2005 ) ve şu şekilde gösterilir:

                             

Tek-adımlı geçiş olasılığı zaman parametresinden bağımsız olduğundan, Markov zincirinin durağan geçiş olasılığına (stationary transition probability) sahip olduğu söylenir ve şu şekilde de yazılabilir:

                            

Hangi notasyonun kullanıldığı önemli olmaksızın, t zamanı bağımsızken tüm durumları i ve j harfleri ile ifade ettiğimizde P{X_t+1 =j │X_t = i} varsayımı doğru olacaktır. Bu varsayımdan yola çıkarak P{X_t+1 = j │X_t = i}=P_ij dendiğinde; sistemin t zamanındaki i durumundan, t+1 zamanındaki j durumuna geçişinin olasılığını P_ij ifade etmektedir. Bu sebeple P_ij’ler Markov zincirinde geçiş olasılıkları olarak adlandırılır. P_ij geçiş olasılığı tek-adımlı geçiş olasılığıdır(Akyurt, 2005).

Olasılıklar negatif olamayacağından ve de sürecin bir geçiş aşaması bulunacağından aşağıdaki sonuçları çıkarabiliriz (Onur, 2006):

P_ij >= 0,           i,j >= 0;           Σ P_ij = 1,          j=0,1,2.......     ∞ i=0,1.........

P: olasılık matrisi ise

                   

şeklinde oluşur.

Tek adım geçiş olasılıklarından hareketle çok adım geçiş olasılıklarını elde etmek; Markov Analizinde, şu anda mevcut durum temel alınarak geleceği tahmin etme adına son derece önemlidir. Örneğin; Analizi üzerinde nilüfer yaprakları olan soyutlaştırılmış bir göl ve bu yapraklar üzerinde zıplayan bir kurbağa düşünülebilir. Sözü edilen gölde 1,2,...,m adet nilüfer yaprağı olsun. Kurbağanın hareketsiz kalmayacağı ve boğulmayacağı ve aynı zamanda kurbağa tarafından yapılan zıplamaların zaman şekli ile de ilgilenilmeyeceği varsayımları altında, kurbağanın başlangıçta, yani mevcut durumda bulunduğu yaprağın numarası bilindiğinde, 20 zıplamadan sonra hangi yaprağın üzerinde olma olasılığının belirlenmesi, çoklu adım geçiş olasılıkları analizi ile mümkündür. Çünkü kurbağa tek adım zıplamalar ile istenilen yaprağın üzerine gelecektir ve bizden istenen sözü edilen yaprakta bulunma olasılığının ne olacağıdır. Bu kuramsal olgu, gerçel hayat problemlerinin çoğuna mantıksal temelde uygulanabilir.

Şu halde, tek adım geçiş olasılıkları ile çok adım geçiş olasılıkları arasında bir ilişki kurmanın zorunluluğu vurgulandıktan sonra, bu olasılıklar arasındaki ayırımı belirtmek için çok adım geçiş olasılıkları  θ_ij sembolü ile gösterilsin:

θ_ij (n+1) = P ( X_n+1 =J, X₀ = i ) ; i, j = 1, ……,,m

Görüldüğü gibi θ_ij (n+1) sembolü, sürecin başlangıçta i durumunda iken (n + 1) adım sonra sürecin j durumunda bulunma olasılığını, bir başka söylemle çok adım geçiş olasılıklarını ifade eder. n = 0 özel durumunda çok adım geçiş olasılıkları tek adım geçiş olasılıklarından başka bir şey değildir (Bayrak, 2010).

Share on Google Plus

About İsmail ÇELİK

This is a short description in the author block about the author. You edit it by entering text in the "Biographical Info" field in the user admin panel.