第一章 隨機(jī)過(guò)程的基本概念一、隨機(jī)過(guò)程的定義例1：醫(yī)院登記新生兒性別，0表示男，1表示女，Xn表示第n次登記的數(shù)字，得到一個(gè)序列X1 ， X2 ， ，記為Xn，n=1,2, ，則Xn 是隨機(jī)變量，而Xn，n=1,2, 是隨機(jī)過(guò)程。例2：在地震預(yù)報(bào)中，若每半年統(tǒng)計(jì)一次發(fā)生在某區(qū)域的地震的最大震級(jí)。令Xn 表示第n次統(tǒng)計(jì)所得的值，則Xn 是隨機(jī)變量。為了預(yù)測(cè)該區(qū)域未來(lái)地震的強(qiáng)度，我們就要研究隨機(jī)過(guò)程Xn，n=1,2, 的統(tǒng)計(jì)規(guī)律性。例3：一個(gè)醉漢在路上行走，以概率p前進(jìn)一步，以概率1-p后退一步（假設(shè)步長(zhǎng)相同）。以X(t)記他t時(shí)刻在路上的位置，則X(t), t0就是（直線上的）隨機(jī)游動(dòng)。例4：乘客到火車(chē)站買(mǎi)票，當(dāng)所有售票窗口都在忙碌時(shí)，來(lái)到的乘客就要排隊(duì)等候。乘客的到來(lái)和每個(gè)乘客所需的服務(wù)時(shí)間都是隨機(jī)的，所以如果用X(t)表示t時(shí)刻的隊(duì)長(zhǎng)，用Y(t)表示t時(shí)刻到來(lái)的顧客所需等待的時(shí)間，則X(t), tT和Y(t), tT都是隨機(jī)過(guò)程。定義：設(shè)給定參數(shù)集合T，若對(duì)每個(gè)tT, X(t)是概率空間上的隨機(jī)變量，則稱X(t), tT為隨機(jī)過(guò)程，其中T為指標(biāo)集或參數(shù)集。，E稱為狀態(tài)空間，即X(t)的所有可能狀態(tài)構(gòu)成的集合。例1：E為0,1例2：E為0, 10例3：E為例4：E都為注：（1）根據(jù)狀態(tài)空間E的不同，過(guò)程可分為連續(xù)狀態(tài)和離散狀態(tài)，例1，例3為離散狀態(tài)，其他為連續(xù)狀態(tài)。（2）參數(shù)集T通常代表時(shí)間，當(dāng)T取R, R+, a,b時(shí)，稱X(t), tT為連續(xù)參數(shù)的隨機(jī)過(guò)程；當(dāng)T取Z, Z+時(shí)，稱X(t), tT為離散參數(shù)的隨機(jī)過(guò)程。（3）例1為離散狀態(tài)離散參數(shù)的隨機(jī)過(guò)程，例2為連續(xù)狀態(tài)離散參數(shù)的隨機(jī)過(guò)程，例3為離散狀態(tài)連續(xù)參數(shù)的隨機(jī)過(guò)程，例4為連續(xù)狀態(tài)連續(xù)參數(shù)的隨機(jī)過(guò)程。二、有限維分布與Kolmogorov定理隨機(jī)過(guò)程的一維分布：隨機(jī)過(guò)程的二維分布：隨機(jī)過(guò)程的n維分布：1、有限維分布族：隨機(jī)過(guò)程的所有一維分布，二維分布，n維分布等的全體稱為X(t), tT的有限維分布族。2、有限維分布族的性質(zhì)：（1）對(duì)稱性：對(duì)（1,2，n）的任一排列，有 （2）相容性：對(duì)于m<n，有3、Kolmogorov定理定理：設(shè)分布函數(shù)族滿足上述的對(duì)稱性和相容性，則必存在一個(gè)隨機(jī)過(guò)程X(t), tT，使恰好是X(t), tT的有限維分布族。定義：設(shè)X(t), tT是一隨機(jī)過(guò)程：（1） 稱X(t)的期望（如果存在）為過(guò)程的均值函數(shù)。（2） 如果，存在，則稱隨機(jī)過(guò)程X(t), tT為二階矩過(guò)程。此時(shí)，稱函數(shù)，為過(guò)程的協(xié)方差函數(shù)；稱為過(guò)程的方差函數(shù)；稱為自相關(guān)函數(shù)。例：，其中和V是相互獨(dú)立的且均服從N(0,1)分布的隨機(jī)變量，求和。三、隨機(jī)過(guò)程的基本類(lèi)型獨(dú)立增量過(guò)程：如果對(duì)任意隨機(jī)變量 是相互獨(dú)立的，則稱X(t), tT是獨(dú)立增量過(guò)程。平穩(wěn)增量過(guò)程：如果對(duì)任意，有X(t1+h)-X(t1) X(t2+h)-X(t2)，則稱X(t), tT是平穩(wěn)增量過(guò)程。平穩(wěn)獨(dú)立增量過(guò)程：兼有獨(dú)立增量和平穩(wěn)增量的過(guò)程稱為平穩(wěn)獨(dú)立增量過(guò)程，例如Poisson過(guò)程和Brownian motionPoisson 過(guò)程2.1 Poisson 過(guò)程1. 計(jì)數(shù)過(guò)程定義：隨機(jī)過(guò)程稱為計(jì)數(shù)過(guò)程，如果表示從0到t時(shí)刻某一特定事件A發(fā)生的次數(shù)，它具備以下兩個(gè)特點(diǎn)：（1）且取值為整數(shù)；（2）時(shí)，且表示時(shí)間內(nèi)事件A發(fā)生的次數(shù)。2. Poisson過(guò)程定義2.1.1：計(jì)數(shù)過(guò)程稱為參數(shù)為（）的Poisson過(guò)程，如果（1）（2）過(guò)程具有獨(dú)立增量性；（3）在任一長(zhǎng)度為t的時(shí)間區(qū)間中事件發(fā)生的次數(shù)服從均值為的Poisson分布，即對(duì)一切，有 注：Poisson過(guò)程具有平穩(wěn)增量性因?yàn)榈姆植贾灰蕾囉趖, 與區(qū)間起點(diǎn)s無(wú)關(guān)， 于是可認(rèn)為是單位時(shí)間內(nèi)發(fā)生的事件的平均次數(shù)，一般稱是Poisson過(guò)程的強(qiáng)度。例2.1.1：（Poisson過(guò)程在排隊(duì)論中的應(yīng)用）研究隨機(jī)服務(wù)系統(tǒng)中的排隊(duì)現(xiàn)象時(shí)，經(jīng)常用到Poisson過(guò)程模型。例如：到達(dá)電話總機(jī)的呼叫數(shù)目，到達(dá)某服務(wù)設(shè)施（商場(chǎng)、車(chē)站、購(gòu)票處等）的顧客數(shù)，都可以用Poisson過(guò)程來(lái)描述。以某火車(chē)站售票處為例，設(shè)從早上8:00開(kāi)始，此售票處連續(xù)售票，乘客以10人/小時(shí)的平均速率到達(dá)，則9:00-10:00這一小時(shí)內(nèi)最多有5名乘客來(lái)此購(gòu)票的概率是多少？10:00-11:00沒(méi)有人來(lái)買(mǎi)票的概率是多少？解：我們用一個(gè)Poisson過(guò)程來(lái)描述，設(shè)8:00為時(shí)刻0，則9:00為時(shí)刻1，參數(shù)，于是, 例2.1.2：（事故發(fā)生次數(shù)及保險(xiǎn)公司接到的索賠數(shù)）若以表示某公路交叉口、礦山、工廠等場(chǎng)所在時(shí)間內(nèi)發(fā)生不幸事故的數(shù)目，則Poisson過(guò)程就是的一種很好近似。例如，保險(xiǎn)公司接到賠償請(qǐng)求的次數(shù)（設(shè)一次事故導(dǎo)致一次索賠），向315臺(tái)的投訴（設(shè)商品出現(xiàn)質(zhì)量問(wèn)題為事故）等都是可以用Poisson過(guò)程的模型。我們考慮一種最簡(jiǎn)單的情形，設(shè)保險(xiǎn)公司每次的賠付都是1，每月平均接到索賠要求4次，則一年中它要付出的金額平均為多少？解：設(shè)一年開(kāi)始時(shí)刻為0，1月末為時(shí)刻1，年末為時(shí)刻12，則有=48問(wèn)題：為什么實(shí)際中有這么多現(xiàn)象可以用Poisson過(guò)程來(lái)反映呢？定理2.1.1：定義1和定義2是等價(jià)的。例2.1.3：事件A的發(fā)生形成強(qiáng)度為的Poisson過(guò)程，如果每次事件發(fā)生時(shí)以概率p能夠被記錄下來(lái)，并以M(t)表示到時(shí)刻t被記錄下來(lái)的事件總數(shù)，則是一個(gè)強(qiáng)度為的Poisson過(guò)程。例2.1.4：若每條蠶的產(chǎn)卵數(shù)服從Poisson分布，強(qiáng)度為，而每個(gè)卵變?yōu)槌上x(chóng)的概率為p，且每個(gè)卵是否變?yōu)槌上x(chóng)彼此間沒(méi)有關(guān)系，求在時(shí)間0, t內(nèi)每條蠶養(yǎng)活k只小蠶的概率。2.2 與Poisson過(guò)程相聯(lián)系的若干分布設(shè)表示第n次事件發(fā)生的時(shí)刻，n=1,2，規(guī)定。表示第n次與第n-1次事件發(fā)生的間隔時(shí)間，n=1,2，。1. 關(guān)于和的分布定理2.2.1：（n=1,2,）服從參數(shù)為的指數(shù)分布，且相互獨(dú)立。定理2.2.2：（n=1,2,）服從參數(shù)為n和的分布。注：如果每次事件發(fā)生的時(shí)間間隔相互獨(dú)立，且服從同一參數(shù)為的指數(shù)分布，則計(jì)數(shù)過(guò)程是參數(shù)為的Poisson過(guò)程。例2.2.1：設(shè)從早上8:00開(kāi)始有無(wú)窮多的人排隊(duì)等候服務(wù)，只有一名服務(wù)員，且每個(gè)人接受服務(wù)的時(shí)間是獨(dú)立的并服從均值為20min的指數(shù)分布，則到中午12:00為止平均有多少人已經(jīng)離去，已有9個(gè)人接受服務(wù)的概率是多少？例2.2.2：假設(shè)某天文臺(tái)觀測(cè)到的流星流是一個(gè)Poisson過(guò)程，根據(jù)以往資料統(tǒng)計(jì)為每小時(shí)平均觀察到3顆流星。試求：上午8:00-12:00期間，該天文臺(tái)沒(méi)有觀察到流星的概率。2. 事件發(fā)生時(shí)刻的條件分布對(duì)于，有現(xiàn)在考慮的情況：定理2.2.1：在已知的條件下，事件發(fā)生的n個(gè)時(shí)刻的聯(lián)合分布密度是， 例2.2.3：乘客按照強(qiáng)度為的Poisson過(guò)程來(lái)到某火車(chē)站，火車(chē)在時(shí)刻t啟程，計(jì)算在內(nèi)到達(dá)的乘客等待時(shí)間的總和的期望值。即要求，其中是第i個(gè)乘客來(lái)到的時(shí)刻。2.3 Poisson過(guò)程的推廣1. 非齊次Poisson過(guò)程定義2.3.1：計(jì)數(shù)過(guò)程稱作強(qiáng)度函數(shù)為的非齊次Poisson過(guò)程，如果等價(jià)定義：定義2.3.2：計(jì)數(shù)過(guò)程稱作強(qiáng)度函數(shù)為的非齊次Poisson過(guò)程， 若（1）（2）具有獨(dú)立增量性；（3）即任意實(shí)數(shù)，為具有參數(shù)的Poisson分布，稱為非齊次Poisson過(guò)程的均值函數(shù)（或累積強(qiáng)度函數(shù)）。定理2.3.1：設(shè)是一個(gè)強(qiáng)度函數(shù)為的非齊次Poisson過(guò)程。對(duì)任意的，令 則是一個(gè)強(qiáng)度為1的Poisson過(guò)程。例2.3.1：設(shè)某設(shè)備的使用期限為10年，在前5年內(nèi)它平均2.5年需要維修一次，后5年平均2年需維修一次。試求它在試用期內(nèi)只維修過(guò)一次的概率。2 復(fù)合Poisson過(guò)程定義2.3.3：稱隨機(jī)過(guò)程為復(fù)合Poisson過(guò)程，如果對(duì)于，它可以表示為：，其中是一個(gè)Poisson過(guò)程，是一族獨(dú)立 同分布的隨機(jī)變量，并且與獨(dú)立。注：復(fù)合Poisson過(guò)程不一定是計(jì)數(shù)過(guò)程。例2.3.2：保險(xiǎn)公司接到的索賠次數(shù)服從一個(gè)Poisson過(guò)程，每次要求賠付的金額都相互獨(dú)立，且有相同分布F，每次的索賠數(shù)額與它發(fā)生的時(shí)刻無(wú)關(guān)，則時(shí)間內(nèi)保險(xiǎn)公司需要賠付的總金額就是一個(gè)復(fù)合Poisson過(guò)程，其中。例2.3.3：設(shè)顧客到達(dá)某服務(wù)系統(tǒng)的時(shí)刻，形成一強(qiáng)度為的Poisson過(guò)程，在每個(gè)時(shí)刻，可以同時(shí)有多名顧客到達(dá)。表示在時(shí)刻到達(dá)的顧客人數(shù)，假定相互獨(dú)立，并且與也獨(dú)立，則在時(shí)間內(nèi)到達(dá)服務(wù)系統(tǒng)的顧客總?cè)藬?shù)可用一復(fù)合Poisson過(guò)程來(lái)描述。例2.3.4：假定顧客按照參數(shù)為的Poisson過(guò)程進(jìn)人一個(gè)商店，又假設(shè)各顧客所花的錢(qián)數(shù)形成一族獨(dú)立同分布的隨機(jī)變量。以記到時(shí)間t為止顧客在此商店所花費(fèi)的總值，易見(jiàn)是一個(gè)復(fù)合Poisson過(guò)程。定理2.3.2：設(shè)，是一復(fù)合Poisson過(guò)程，Poisson過(guò)程的強(qiáng)度為，則（1）有獨(dú)立增量；（2）若，則 ，例2.3.5：在保險(xiǎn)中的索賠模型中，設(shè)索賠要求以Poisson過(guò)程到達(dá)保險(xiǎn)公司，速率為平均每月兩次。每次索賠服從均值為10000元的正態(tài)分布，則一年中保險(xiǎn)公司平均的賠付額是多少？例2.3.6：設(shè)顧客以每分鐘6人的平均速率進(jìn)入某商場(chǎng)，這一過(guò)程可用用Poisson過(guò)程來(lái)描述。又該進(jìn)入該商場(chǎng)的每位顧客買(mǎi)東西的概率為0.9，且每位顧客是否買(mǎi)東西互不影響，也與進(jìn)入該商場(chǎng)的顧客數(shù)無(wú)關(guān)。求一天（12小時(shí)）在該商場(chǎng)買(mǎi)東西的顧客數(shù)的均值。3條件Poisson過(guò)程定義2.3.4：設(shè)隨機(jī)變量，在的條件下，計(jì)數(shù)過(guò)程是參數(shù)為的Poisson過(guò)程，則稱為條件Poisson過(guò)程。定理2.3.3：設(shè)是條件Poisson過(guò)程，且，則（1）；（2）例2.3.7：設(shè)意外事故的發(fā)生頻率受某種未知因素影響有兩種可能，且 ，為已知。已知到時(shí)刻t已發(fā)生了n次事故。求下一次事故在t+s之前不會(huì)到來(lái)的概率。另外，這個(gè)發(fā)生頻率為的概率是多少？第三章 Markov 鏈3.1 基本概念定義3.1.1：隨機(jī)過(guò)程稱為Markov鏈，若它只取有限或可列個(gè)值（常用非負(fù)整數(shù)集來(lái)表示），并且對(duì)任意的，及任意狀態(tài)，有=，其中表示過(guò)程在時(shí)刻n處于狀態(tài)，稱為該過(guò)程的狀態(tài)空間，記為. 上式刻畫(huà)了Markov鏈的特性，稱為Markov性。定義3.1.2：稱條件概率為Markov鏈的一步轉(zhuǎn)移概率，簡(jiǎn)稱轉(zhuǎn)移概率，記為，它代表處于狀態(tài)的過(guò)程下一步轉(zhuǎn)移到狀態(tài)的概率。定義3.1.3：當(dāng)Markov鏈的轉(zhuǎn)移概率=只與狀態(tài)有關(guān)，而與n無(wú)關(guān)時(shí)，稱之為時(shí)齊Markov鏈；否則，就稱之為非時(shí)齊的。注：我們只討論時(shí)齊Markov鏈，簡(jiǎn)稱Markov鏈。定義3.1.4：當(dāng)Markov鏈的狀態(tài)為有限時(shí)，稱為有限鏈，否則稱為無(wú)限連。但無(wú)論狀態(tài)有限還是無(wú)限，我們都可以將（）排成一個(gè)矩陣的形式，令P=（）=為轉(zhuǎn)移概率矩陣，簡(jiǎn)稱轉(zhuǎn)移矩陣。容易看出（）具有性質(zhì)：（1），；（2）=1，。例3.1.1：考慮一個(gè)包含三個(gè)狀態(tài)的模型，若個(gè)體健康，認(rèn)為他處于狀態(tài)，若他患病，認(rèn)為他處于狀態(tài)，若他死亡，認(rèn)為他處于狀態(tài)，易見(jiàn)這是一個(gè)Markov鏈，轉(zhuǎn)移矩陣為P=例3.1.2：（賭徒的破產(chǎn)或稱帶吸收壁的隨機(jī)游動(dòng)）系統(tǒng)的狀態(tài)時(shí)，反映賭博者在賭博期間擁有的錢(qián)數(shù)，當(dāng)他輸光或擁有錢(qián)數(shù)為n時(shí)，賭博停止，否則他將持續(xù)賭博。每次以概率p贏得1，以概率q=1-p輸?shù)?。這個(gè)系統(tǒng)的轉(zhuǎn)移矩陣為P=例3.1.3：（帶反射壁的隨機(jī)游動(dòng)）設(shè)上例中當(dāng)賭博者輸光時(shí)將獲得贊助1繼續(xù)賭下去，就如同一個(gè)在直線上做隨機(jī)游動(dòng)的球在到達(dá)左側(cè)0點(diǎn)處立刻反彈回一樣，這就是一個(gè)一側(cè)帶有反射壁的隨機(jī)游動(dòng)，此時(shí)轉(zhuǎn)移矩陣為：P=例3.1.4：（自由隨機(jī)游動(dòng)）設(shè)一個(gè)球在全直線上做無(wú)限制的隨機(jī)游動(dòng)，它的狀態(tài)為0，它是一個(gè)Markov鏈，轉(zhuǎn)移矩陣為：P=練習(xí)：設(shè)有一只螞蟻在圖上爬行，當(dāng)兩個(gè)節(jié)點(diǎn)相鄰時(shí)，螞蟻將爬向它鄰近的一點(diǎn)，并且爬向任何一個(gè)鄰近節(jié)點(diǎn)的概率是相同的，求轉(zhuǎn)移矩陣。2 n步轉(zhuǎn)移概率， C-K方程定義3.1.5：稱條件概率，為Markov鏈的n步轉(zhuǎn)移概率，相應(yīng)地稱為n步轉(zhuǎn)移矩陣。規(guī)定：?jiǎn)栴}：和是什么關(guān)系？定理3.1.1：Chapman-Kolmogorov方程，簡(jiǎn)稱C-K方程對(duì)一切有（1）（2）證明：例3.1.5：（賭徒的破產(chǎn)或稱帶吸收壁的隨機(jī)游動(dòng)）系統(tǒng)的狀態(tài)時(shí)，反映賭博者在賭博期間擁有的錢(qián)數(shù)，當(dāng)他輸光或擁有錢(qián)數(shù)為n時(shí)，賭博停止，否則他將持續(xù)賭博。每次以概率p贏得1，以概率q=1-p輸?shù)?。設(shè)，賭博者從2元賭金開(kāi)始賭博，求他經(jīng)過(guò)4次賭博之后輸光的概率。例3.1.6：甲乙兩人進(jìn)行某種比賽，設(shè)每局甲勝的概率是p。乙勝的概率是q，和局的概率是r，。設(shè)每局比賽后，勝者記“+1”分，負(fù)者記“-1”分，和局不計(jì)分，且當(dāng)兩人中有一人獲得2分時(shí)比賽結(jié)束。以表示比賽至第n局時(shí)甲獲得的分?jǐn)?shù)，則為時(shí)齊Markov鏈，求甲獲得1分的情況下，不超過(guò)兩局可結(jié)束比賽的概率。例3.1.7：質(zhì)點(diǎn)在數(shù)軸上的點(diǎn)集上做隨機(jī)游動(dòng)，質(zhì)點(diǎn)到達(dá)點(diǎn)-2后，以概率1停留在原處；到達(dá)點(diǎn)2后，以概率1向左移動(dòng)一點(diǎn)；到達(dá)其他點(diǎn)后，分別以概率向左、右移動(dòng)一點(diǎn)，以概率停留在原處。試求在已知該質(zhì)點(diǎn)處于狀態(tài)0的條件下，經(jīng)3步轉(zhuǎn)移后仍處于狀態(tài)0的概率。例3.1.8：（廣告效益的推算）某種啤酒A的廣告改變了廣告方式，經(jīng)調(diào)查發(fā)現(xiàn)買(mǎi)A種啤酒及另外三種啤酒B, C，D的顧客每?jī)蓚€(gè)月的平均轉(zhuǎn)換率如下（設(shè)市場(chǎng)中只有這四種啤酒）：假設(shè)目前購(gòu)買(mǎi)A，B, C，D四種啤酒的顧客的分布為（25%，30%，35%，10%），試求半年后啤酒A的市場(chǎng)份額。3.2 狀態(tài)的分類(lèi)及性質(zhì)定義3.2.1：若存在使得，稱狀態(tài)可達(dá)狀態(tài)，記為。若同時(shí)有，則稱與互通，記為。定理3.2.1：互通是一種等價(jià)關(guān)系，即滿足：（1） 自反性：；（2） 對(duì)稱性：，則（3） 傳遞性：，則證明：定義3.2.2：把任何兩個(gè)互通狀態(tài)歸為一類(lèi)，若Markov鏈只存在一個(gè)類(lèi)，就稱它是不可約的；否則稱為可約的。例3.2.1：在例3.1.1中考三個(gè)狀態(tài)：健康狀態(tài)，患病狀態(tài)，死亡狀態(tài)，可分為幾個(gè)類(lèi)？定義3.2.3：若集合非空，則稱它的最大公約數(shù)為狀態(tài)的周期。若，稱是周期的。若，稱是非周期的。規(guī)定，上述集合為空集時(shí)，稱的周期為無(wú)窮大。注：（1）雖然有周期但并不是對(duì)所有的n，都大于0。請(qǐng)舉出反例：（2）雖然有周期但可能，舉出反例：定理3.2.2：若狀態(tài)同屬一類(lèi)，則。證明：定義3.2.4：對(duì)于任何狀態(tài)，以記從出發(fā)經(jīng)n步后首次到達(dá)的概率，則有令，如果，稱狀態(tài)為常返狀態(tài)；如果，稱狀態(tài)為非常返狀態(tài)。問(wèn)題：的含義是什么？定義3.2.4：（1）對(duì)于常返狀態(tài)，定義，可以知道表示的是由出發(fā)再返回到所需的平均步數(shù)（時(shí)間）。（2）對(duì)于常返狀態(tài)，若，則稱為正常返狀態(tài)；若，則稱為零常返狀態(tài)。（3）若為正常返狀態(tài)，且是非周期的，則稱之為遍歷狀態(tài)。若是遍歷狀態(tài)，且，則稱為吸收狀態(tài)，此時(shí)顯然。例3.2.3：設(shè)Markov鏈的狀態(tài)空間為，其一步轉(zhuǎn)移概率矩陣為：試將狀態(tài)進(jìn)行分類(lèi)。定理3.2.3：狀態(tài)為常返的當(dāng)且僅當(dāng)；狀態(tài)為非常返狀態(tài)時(shí)，有。引理3.2.1：對(duì)任意狀態(tài)及，有。引理3.2.2：若且為常返狀態(tài)，則。定理3.2.4：常返性是一個(gè)類(lèi)性質(zhì)。例3.2.4：設(shè)Markov鏈的狀態(tài)空間為，轉(zhuǎn)移概率為，考慮各個(gè)狀態(tài)的性質(zhì)。3.3 極限定理與平穩(wěn)分布3.3.1 極限定理例3.3.1 ： 設(shè)Markov鏈的轉(zhuǎn)移矩陣為，0<p,q<1 試求： 例3.3.2：在例3.2.5中令p=，求 若令p= ，求定理3.3.1：（1）若狀態(tài)i是周期為d的常返狀態(tài)，則 ， （2）若狀態(tài)i是非常返狀態(tài)時(shí)，則 推論3.3.1：設(shè)i是常返狀態(tài)，則i是零常返狀態(tài) 定理3.3.2：（1）若j是非常返狀態(tài)或零常返狀態(tài)，則對(duì) （2）若j為正常返狀態(tài)且周期為d，則 推論3.3.2： 對(duì), 有推論3.3.3：有限狀態(tài)的Markov鏈，不可能全為非常返狀態(tài)，也不可能有零常返狀態(tài)，從而不可約的有限Markov鏈?zhǔn)钦７档摹Ｍ普?.3.4：若Markov鏈有一個(gè)零常返狀態(tài)，則必有無(wú)限個(gè)零常返狀態(tài)。例3.3.3：設(shè)Markov鏈的狀態(tài)空間為E=1, 2 ，3，4, 5，轉(zhuǎn)移矩陣為試確定常返狀態(tài)，非常返狀態(tài)，并對(duì)常返狀態(tài)i確定其平均回轉(zhuǎn)時(shí)間。3.3.2 平穩(wěn)分布與極限分布定義3.3.1：對(duì)于Markov鏈，概率分布稱為平穩(wěn)分布，若問(wèn)題：為什么稱之為平穩(wěn)分布？定義3.3.2：（1）稱Markov鏈?zhǔn)潜闅v的，如果所有狀態(tài)相通且均是周期為1的正常返狀態(tài)。 （2）對(duì)于遍歷的Markov鏈，極限 稱為Markov鏈的極限分布。注：定理3.3.3 對(duì)于不可約非周期的Markov鏈：（1）若它是遍歷的，則是平穩(wěn)分布且是唯一的平穩(wěn)分布。（2）若狀態(tài)都是非常返的或全為零常返的，則平穩(wěn)分布不存在。例3.3.4：設(shè)Markov鏈的轉(zhuǎn)移矩陣為求極限分布。例3.3.5：設(shè)有6個(gè)車(chē)站，車(chē)站中間的公路連接情況如下圖所示：汽車(chē)每天可以從一個(gè)車(chē)站駛向與之直接相鄰的車(chē)站，并在夜晚到達(dá)車(chē)站留宿，次日凌晨重復(fù)相同的活動(dòng)。設(shè)每天凌晨汽車(chē)開(kāi)往鄰近的任何一個(gè)車(chē)站都是等可能的，試說(shuō)明很長(zhǎng)時(shí)間后，各站每晚留宿的汽車(chē)比例趨于穩(wěn)定。求出這個(gè)比例以便正確地設(shè)置各站的服務(wù)規(guī)模。例3.3.6 設(shè)甲袋中有k個(gè)白球和1個(gè)黑球，乙袋中有k+1個(gè)白球，每次從兩袋中各任取一球，交換后放入對(duì)方的袋中。證明經(jīng)過(guò)n次交換后，黑球仍在甲袋中的概率滿足例3.3.7 我國(guó)某種商品在國(guó)外的銷(xiāo)售情況共有連續(xù)24個(gè)季度的數(shù)據(jù)（其中1表示暢銷(xiāo)，2表示滯銷(xiāo)）：1，1，2，1， 2，2，1，1，1，2，1，2，1，1，2，2，1，1，2，1，2，1，1，1如果該商品銷(xiāo)售情況近似滿足時(shí)齊次與Markov性：（1） 試確定銷(xiāo)售狀態(tài)的一步轉(zhuǎn)移概率矩陣。（2） 如果現(xiàn)在是暢銷(xiāo)，試預(yù)測(cè)這之后的第四個(gè)季度的銷(xiāo)售狀況。（3） 如果影響銷(xiāo)售的所有因素不變，試預(yù)測(cè)長(zhǎng)期的銷(xiāo)售狀況。 3.4 Markov鏈的應(yīng)用群體消失模型（分枝過(guò)程）： 考慮一個(gè)能產(chǎn)生同類(lèi)后代的個(gè)體組成的群體，每一個(gè)體生命結(jié)束時(shí)以概率產(chǎn)生了j個(gè)新的后代，與別的個(gè)體產(chǎn)生的后代的個(gè)數(shù)相互獨(dú)立。初始個(gè)體數(shù)以表示，稱為第零代的總數(shù)；第零代的后代構(gòu)成第一代，其總數(shù)記為，第一代的每個(gè)個(gè)體以同樣的分布產(chǎn)生第二代，一般地，以記第n代的總數(shù)。此Markov鏈稱為分枝過(guò)程。假設(shè)，則有 其中表示第n-1代的第i個(gè)成員的后代的個(gè)數(shù)?？紤]以下幾個(gè)問(wèn)題：（1） （2） 的意義（3）定理3.4.1： 3.5連續(xù)時(shí)間Markov鏈3.5.1 連續(xù)時(shí)間Markov鏈定義3.5.1：過(guò)程的狀態(tài)空間E為離散空間，若對(duì)一切及有成立，則稱是一個(gè)連續(xù)時(shí)間Markov鏈。轉(zhuǎn)移概率 轉(zhuǎn)移概率矩陣 定義3.5.2：稱連續(xù)時(shí)間Markov鏈?zhǔn)菚r(shí)齊的，若與s無(wú)關(guān)。簡(jiǎn)記,相應(yīng)地記 定理3.5.1：設(shè)是連續(xù)時(shí)間Markov鏈，假定在時(shí)刻0過(guò)程剛剛到達(dá)。以記過(guò)程在離開(kāi)i之前在i停留的時(shí)間，則服從指數(shù)分布。說(shuō)明：構(gòu)造連續(xù)時(shí)間Markov鏈的方法（1）在轉(zhuǎn)移到下一個(gè)狀態(tài)之前處于狀態(tài)i的時(shí)間服從參數(shù)為的指數(shù)分布。（2）在過(guò)程離開(kāi)狀態(tài)i時(shí)，將以概率到達(dá)j，且 定義3.5.3 稱一個(gè)連續(xù)時(shí)間Markov鏈?zhǔn)钦齽t的，若以概率1在任意有限長(zhǎng)的時(shí)間內(nèi)轉(zhuǎn)移的次數(shù)是有限的。例3.5.1（Poisson過(guò)程）參數(shù)為的Poisson過(guò)程，取值為。由第2章可知，它在任意一個(gè)狀態(tài)i停留的時(shí)間服從指數(shù)分布，并且在離開(kāi)i時(shí)以概率1轉(zhuǎn)移到i+1，由Poisson過(guò)程的獨(dú)立增量性看出它在i停留的時(shí)間與狀態(tài)的轉(zhuǎn)移是獨(dú)立的，從而Poisson過(guò)程是時(shí)齊的連續(xù)時(shí)間Markov鏈。例3.5.2（Yule過(guò)程）考察生物群體繁殖過(guò)程的模型。設(shè)群體中各個(gè)生物體的繁殖是相互獨(dú)立的，強(qiáng)度為的Poisson過(guò)程，并且群體中沒(méi)有死亡，此過(guò)程稱為Yule過(guò)程，此過(guò)程是一個(gè)連續(xù)時(shí)間Markov鏈。例3.5.3（生滅過(guò)程）仍然考慮一個(gè)生物群體的繁殖模型。每個(gè)個(gè)體生育后代如例3.5.2的假定，但是每個(gè)個(gè)體將以指數(shù)速率死亡，這是一個(gè)生滅過(guò)程。例3.5.4（M/M/S排隊(duì)系統(tǒng)）顧客的來(lái)到是參數(shù)為的Poisson過(guò)程。服務(wù)人員數(shù)為s個(gè)，每個(gè)顧客接受服務(wù)的時(shí)間服從參數(shù)為的指數(shù)分布。遵循先來(lái)先服務(wù)，若服務(wù)員沒(méi)有空閑時(shí)間就排隊(duì)的原則。以記t時(shí)刻系統(tǒng)中的總?cè)藬?shù)，則是一個(gè)生滅過(guò)程（來(lái)到看作出生，離去看作死亡），來(lái)到率是服從參數(shù)為的Poisson過(guò)程，離去過(guò)程的參數(shù)會(huì)發(fā)生變化，以記系統(tǒng)中有n個(gè)顧客時(shí)的離去率，則 3.5.2 Kolmogorov微分方程 定理3.5.2：時(shí)齊連續(xù)時(shí)間Markov鏈的轉(zhuǎn)移概率滿足：（1）（2）（3 連續(xù)時(shí)間Markov鏈的C-K方程。證明 ：定理3.5.3 推論3.5.1：對(duì)有限狀態(tài)時(shí)齊的連續(xù)時(shí)間Markov鏈，有 注：對(duì)于無(wú)限狀態(tài)的情況，一般只能得到 定理3.5.4 kolmogorov微分方程對(duì)一切 且，有（1）向后方程 （2）在適當(dāng)?shù)恼齽t條件下，有向前方程 例3.5.5：討論P(yáng)oisson過(guò)程的微分方程及轉(zhuǎn)移概率。例3.5.6：類(lèi)似Poisson過(guò)程，給出Yule過(guò)程的轉(zhuǎn)移概率。例3.5.7：討論生滅過(guò)程的微分方程。第三章練習(xí)題1、設(shè)今日有雨明日也有雨的概率為0.7，今日無(wú)雨明日有雨的概率為0.5。求星期一有雨，星期三也有雨的概率。2、設(shè)Markov鏈的狀態(tài)空間為E=1,2,3,4,5,6，其一步轉(zhuǎn)移概率矩陣為試確定狀態(tài)的周期，常返性，并給此Markov鏈分類(lèi)。3、若，證明：（1） （2）4、 將兩個(gè)紅球、四個(gè)白球分別放入甲乙兩個(gè)盒子中。每次從兩個(gè)盒子中各取一球交換，以 記第n次交換后甲盒中的紅球數(shù)。（1）試說(shuō)明是一個(gè)Markov鏈并求轉(zhuǎn)移矩陣P（2）試證明是遍歷的。（3）求它的極限分布。5、對(duì)于Yule過(guò)程計(jì)算群體總數(shù)從1增長(zhǎng)到N的平均時(shí)間。6、考慮有兩個(gè)狀態(tài)的連續(xù)時(shí)間Markov鏈，狀態(tài)為0和1，鏈在離開(kāi)0到達(dá)1之前在狀態(tài)0停留的時(shí)間服從參數(shù)為的指數(shù)分布，相應(yīng)地在1停留的時(shí)間是參數(shù)為的指數(shù)變量。對(duì)此建立kolmogorov微分方程，并求其解。第四章 更新過(guò)程4.1 更新過(guò)程的定義及若干分布4.1.1 更新過(guò)程的定義事件發(fā)生的時(shí)間間隔是獨(dú)立同分布的非負(fù)隨機(jī)變量，這樣得到的計(jì)數(shù)過(guò)程叫做更新過(guò)程，其數(shù)學(xué)表達(dá)式如下： 定義4.1.1：設(shè)，n=1,2,是一列獨(dú)立同分布的非負(fù)隨機(jī)變量，分布函數(shù)為F(x)設(shè)F(0)=PX=01，記=，則0+。令，n1，T=0。我們把由定義的計(jì)數(shù)過(guò)程稱為更新過(guò)程。例子：機(jī)器零件的更換。在時(shí)刻0，安裝上一個(gè)新零件并開(kāi)始運(yùn)行，設(shè)此零件在T時(shí)刻損壞，馬上用一個(gè)新的來(lái)替換（假設(shè)替換不需要時(shí)間），則第二個(gè)零件在T時(shí)刻開(kāi)始運(yùn)行，設(shè)它在T時(shí)刻損壞，同樣馬上換第三個(gè)，很自然可以認(rèn)為這些零件的使用壽命是獨(dú)立同分布的，那么到t時(shí)刻為止所更換的零件數(shù)目就構(gòu)成一個(gè)更新過(guò)程。說(shuō)明：（1）在更新過(guò)程中事件發(fā)生一次叫做一次更新，X表示第n-1次和第n次更新的間隔時(shí)間，T是第n次更新發(fā)生的時(shí)刻，N(t)就是t時(shí)刻之前發(fā)生的總的更新次數(shù)。 （2）Poisson過(guò)程是更新過(guò)程。4.1.2 N(t)的分布及EN(t)的一些性質(zhì) 問(wèn)題一：在有限時(shí)間0,t內(nèi)是否會(huì)發(fā)生無(wú)窮多次更新，即N(t)= ？問(wèn)題二：求N(t)的分布 PN(t)=n問(wèn)題三：以M(t)記EN(t)，求M(t)（M(t)叫做更新函數(shù)）。注：M(t)是t的不減函數(shù)，且對(duì)0t，M(t) +例4.1.1：考慮一個(gè)時(shí)間離散的更新過(guò)程N(yùn)，j=1,2，在每個(gè)時(shí)刻獨(dú)立地做Bernoulli試驗(yàn)，設(shè)成功的概率為p，失敗的概率為q=1-p。以試驗(yàn)成功作為事件（更新），求此過(guò)程的更新函數(shù)M(k)。4.2 更新方程定義 4.2.1： 若的導(dǎo)數(shù)存在，則其導(dǎo)數(shù)稱為更新密度，記為。 由= 知 m(t)=。其中是的密度函數(shù)。定理4.2.1：和分別滿足積分方程 其中。定義4.2.2: (更新方程)稱如下形式的積分方程為更新方程 其中為已知，為分布函數(shù)，且當(dāng)0時(shí)，均為0。定理4.2.2：設(shè)更新方程中為有界函數(shù)，則方程存在唯一的在有限區(qū)間內(nèi)有界的解 其中是的更新函數(shù)。例4.2.1：（Wald等式）設(shè) (i=1，2)，證明： 4.3 更新定理定理4.3.1 Feller初等更新定理記，則。若。定義4.3.1（格點(diǎn)分布）：若存在，使得，則稱隨機(jī)變量服從格點(diǎn)分布。同時(shí)稱滿足上述條件的最大的為此格點(diǎn)分布的周期。定理4.3.2 Blackwell更新定理 記(1) 若不是格點(diǎn)分布，則對(duì)一切，當(dāng)時(shí)，有。(2) 若是格點(diǎn)分布，周期為，則當(dāng)時(shí)，有。定理4.3.3 關(guān)鍵更新定理 記，設(shè)函數(shù)滿足：(1)非負(fù)不增；(2) 。 是更新方程的解，那么(1) 若不是格點(diǎn)分布，有(2) 若是格點(diǎn)分布，對(duì)于，有 例4.3.1：某控制器用1節(jié)電池供電，設(shè)電池壽命（=1,2,）服從均值為45小時(shí)的正態(tài)分布，電池失效時(shí)需要去倉(cāng)庫(kù)領(lǐng)取，領(lǐng)取新電池的時(shí)間（=1,2,）服從期望為0.5小時(shí)的均勻分布。求長(zhǎng)時(shí)間工作時(shí)，控制器更換電池的速率。例4.3.2：設(shè)有一個(gè)單服務(wù)員銀行，顧客到達(dá)可看作速率為的Poisson分布，服務(wù)員為每一位顧客服務(wù)的時(shí)間是，服從均值為的指數(shù)分布。顧客到達(dá)門(mén)口只能在服務(wù)員空閑時(shí)才準(zhǔn)進(jìn)來(lái)。試求：（1） 顧客進(jìn)銀行的速率.（2） 服務(wù)員工作的時(shí)間所占營(yíng)業(yè)時(shí)間的比例.例4.3.3:考慮離散時(shí)間的更新過(guò)程（n=0,1,2,），在每個(gè)時(shí)間點(diǎn)獨(dú)立地做Bernoulli試驗(yàn)，設(shè)試驗(yàn)成功的概率為p，失敗的概率為q=1p，以試驗(yàn)成功作為更新事件，并以記此過(guò)程的更新函數(shù)，求其更新率例4.3.4:某電話交換臺(tái)的電話呼叫次數(shù)服從平均1分鐘次的Poisson過(guò)程，通話時(shí)間，是相互獨(dú)立且服從同一分布的隨機(jī)變量序列，滿足E< ,假定通話時(shí)電話打不進(jìn)來(lái)，用表示到時(shí)刻t為止電話打進(jìn)來(lái)的次數(shù)，試證： 例4.3.5:（剩余壽命與年齡的極限分布） 以表示時(shí)刻t的剩余壽命，即從t開(kāi)始到下次更新剩余的時(shí)間，為t時(shí)刻的年齡。求r(t)和的極限分布。4.4 LundbergCramer 破產(chǎn)論設(shè)保險(xiǎn)公司在時(shí)刻t的盈余可表示為： ， t 0u初始資本；c保險(xiǎn)費(fèi)率；第k次索賠額到時(shí)刻t為止發(fā)生的索賠次數(shù).古典破產(chǎn)模型的三個(gè)假定：假設(shè)1：，k 1是恒正的獨(dú)立同分布的隨機(jī)變量序列，記，x 0；是參數(shù)為 的Poisson過(guò)程，并且與相互獨(dú)立。破產(chǎn)時(shí)破產(chǎn)概率假定2:：，其中> 0 ，稱為相對(duì)安全負(fù)荷.假定3：調(diào)節(jié)系數(shù)存在唯一性假定首先，要求個(gè)體索賠額的矩母函數(shù)至少在包含原點(diǎn)的某個(gè)鄰域內(nèi)存在；其次，要求方程 存在正解， 記為R.定理4.4.1 若假定1假定3成立，則有（1）;（2）Lundberg不等式： , （3）LundbergCramer 近似：存在正常數(shù)C，使得 , . 即 習(xí) 題1、判斷下列命題是否正確：（1） < n > t（2） n t（3） > n < t2、更新過(guò)程的來(lái)到間隔服從參數(shù)為的分布。（1）試求的分布；（2）對(duì)更新過(guò)程，證明當(dāng)時(shí)，有 a.s. , 其中（3）試證 a.s. 3.設(shè)，計(jì)算第五章 Brown運(yùn)動(dòng)5.1 基本概念與性質(zhì)定義5.1.1：隨機(jī)過(guò)程如果滿足：（1）（2）具有平穩(wěn)獨(dú)立增量（3）對(duì)每個(gè)服從正態(tài)分布則稱為Brown運(yùn)動(dòng)，也稱為Wiener過(guò)程。常記為或注：如果稱之為標(biāo)準(zhǔn)Brown運(yùn)動(dòng)。如果是標(biāo)準(zhǔn)Brown運(yùn)動(dòng)。性質(zhì)5.1.1：Brown運(yùn)動(dòng)是具有下述性質(zhì)的隨機(jī)過(guò)程（1）（正態(tài)增量）（2）（獨(dú)立增量）獨(dú)立于過(guò)程的過(guò)去狀態(tài)（3）（路徑的連續(xù)性）是t的連續(xù)函數(shù)注：性質(zhì)5.1.1中沒(méi)有假定，因此稱之為始于的Brown運(yùn)動(dòng)。也記為。易見(jiàn)例5.1.1：設(shè)是標(biāo)準(zhǔn)Brown運(yùn)動(dòng)，計(jì)算和定義5.1.2：Brown運(yùn)動(dòng)的二次變差定義為當(dāng)取遍0,t的分割,且時(shí)，依概率收斂意義下的極限下面是Brown運(yùn)動(dòng)的路徑性質(zhì)。從時(shí)刻0到時(shí)刻T對(duì)Brown運(yùn)動(dòng)的一次觀察稱為Brown運(yùn)動(dòng)在區(qū)間0,T上的一個(gè)路徑。Brown運(yùn)動(dòng)的幾乎所有樣本路徑都具有下述性質(zhì)。（1） 是t的連續(xù)函數(shù)（2） 在任意區(qū)間（無(wú)論區(qū)間多么?。┥隙疾皇菃握{(diào)的（3） 在任意點(diǎn)都不是可微的（4） 在任意區(qū)間（無(wú)論區(qū)間多么小）上都是無(wú)限變差的（5） 對(duì)任意t，在0,t上的二次變差等于t5.2 Gauss過(guò)程定義5.2.1：所謂的Gauss過(guò)程是指所有有限維分布都是多元正態(tài)分布的隨機(jī)過(guò)程。注：本節(jié)的主要目的是證明Brown運(yùn)動(dòng)是特殊的Gauss過(guò)程。引理5.2.1 設(shè)是相互獨(dú)立的，則。其中均值，協(xié)方差矩陣定理5.2.1 Brown運(yùn)動(dòng)是均值函數(shù)為m(t)=0,協(xié)方差函數(shù)為的Gauss過(guò)程。例5.2.1 設(shè)是Brown運(yùn)動(dòng)，求B(1)+B(2)+B(3)+B(4)的分布例5.2.2 求的分布例5.2.3 求概率5.3 Brown運(yùn)動(dòng)的幾種變化5.3.1 Brown橋 (Brown Bridge)定義5.3.1 設(shè)是Brown運(yùn)動(dòng)。令，則稱隨機(jī)過(guò)程為Brown橋。 （數(shù)理金融中經(jīng)常用到的過(guò)程）注：因?yàn)锽rown運(yùn)動(dòng)是Gauss過(guò)程，所以Brown橋也是Gauss過(guò)程，其n維分布由均值函數(shù)和協(xié)方差函數(shù)完全確定。且對(duì)，有5.3.2 有吸收值的Brown運(yùn)動(dòng)設(shè)為Brown運(yùn)動(dòng)首次擊中的時(shí)刻，令則是擊中后，永遠(yuǎn)停留在的Brown運(yùn)動(dòng)。5.3.3 在原點(diǎn)反射的Brown運(yùn)動(dòng)由定義的過(guò)程稱為在原點(diǎn)反射的Brown運(yùn)動(dòng)。它的概率分布為：5.3.4 幾何Brown運(yùn)動(dòng)由定義的過(guò)程稱為幾何Brown運(yùn)動(dòng)例5.3.1 （股票期權(quán)的價(jià)值）設(shè)某人擁有某種股票的交割時(shí)刻為T(mén)，交割價(jià)格為K的歐式看漲期權(quán)，即他具有在時(shí)刻T以固定的價(jià)格K購(gòu)買(mǎi)一股這種股票的權(quán)利。假設(shè)這種股票目前的價(jià)格為y，并按照幾何Brown運(yùn)動(dòng)變化，我們計(jì)算擁有這個(gè)期權(quán)的平均價(jià)值。5.3.5 有漂移的Brown運(yùn)動(dòng)設(shè)B(t)是標(biāo)準(zhǔn)Brown運(yùn)動(dòng)，我們稱為漂移的Brown運(yùn)動(dòng)，其中常數(shù)稱為漂移系數(shù)。例5.3.2 （行使股票期權(quán)）假設(shè)某人有在將來(lái)某個(gè)時(shí)刻以固定價(jià)格A購(gòu)買(mǎi)一股股票的期權(quán)，與現(xiàn)在的市價(jià)無(wú)關(guān)。不妨取現(xiàn)在的市價(jià)為0，并假定其變化遵循有負(fù)漂移系數(shù)的Brown運(yùn)動(dòng)。問(wèn)在什么時(shí)候行使期權(quán)？習(xí)題：1、設(shè)為標(biāo)準(zhǔn)Brown運(yùn)動(dòng)，驗(yàn)證是Brown橋。2、設(shè)為標(biāo)準(zhǔn)Brown運(yùn)動(dòng)，計(jì)算條件概率，問(wèn)事件與是否獨(dú)立？3、設(shè)、為相互獨(dú)立的標(biāo)準(zhǔn)Brown運(yùn)動(dòng)，試證是Brown運(yùn)動(dòng)。55