Procesos Estocásticos

Autor: Edison Del Rosario

  • Densidad Espectral de Potencia Concepto

    Referencia: León García 10.1.1 p578

    Sea X(t) un proceso aleatorio contínuo en el tiempo estacionario en el sentido amplio WSS, con media mX y función de autocorrelación RX(t).

    Si cambiamos el dominio de la función desde tiempo a frecuencia, lo anterior deberá también cambiarse de dominio. Si la función densidad de probabiliad se cambia de dominio, se conocería como periodograma estimador, y se llega a determinar la densidad espectral de potencia de X(t) definida como:

    S_X (f) = lim_{T \rightarrow \infty} \frac{1}{T} E \left[ \left| \tilde{x} (f) \right| ^2\right]

    La densidad espectral de potencia de X(t) está dada por la transformada de Fourier de la función de autocorrelación:

    S_X (f) = Fourier\{R_x(\tau) \} = \int_{-\infty}^{\infty} R_x(\tau) e^{-j2\pi f \tau} d\tau

    La potencia promedio de X(t) se expresa también como:

    E[ X^2(t)] = R_X(0) = \int_{-\infty}^{\infty} S_X (f) df

    La densiddad espectral de potencia también se relaciona con la autocorrelación y autocovarianza por medio de la transformada de Fourier:

    S_X(f) = Fourier\{ C_x (\tau) + m^2_x\}

    si consideramos que m_x es un componente constante o "DC"

    S_X(f) = Fourier\{ C_x (\tau)\} + m^2_x \delta(f)

    ampliando el concepto a densidad espectral de potencia cruzada SX,Y (f) se define como:

    S_{X,Y}(f) = Fourier\{ R_{X,Y} (\tau) \}

  • Autocorrelación Propiedades

    Referencia León-García 9.6 p522

    Potencia Promedio

    La función autocorrelación a τ=0 entrega la potencia promedio (segundo momento) del proceso:

    R_{X}(0) = E[X(t)^2]

    para todo valor de t

    Función par respecto a τ

    R_{X}(\tau) = E[X(t+\tau)X(t)] = E[X(t)X(t+\tau)] = R_{X}(-\tau)

    Mide la tasa de cambio

    La función de autocorrelación es una medida de la tasa de cambio de un proceso aleatorio

    P[|X(t+\tau) - X(t)| > \epsilon] = P[(X(t+\tau) - X(t))^2 > \epsilon ^2] \leq \frac{E[(X(t+\tau) - X(t))^2]}{\epsilon ^2} =\frac{2\{R_X(0) - R_X(\tau) \}}{\epsilon ^2}

    como resultado de usar la inequidad de Markov

    tiene maximo en τ=0

    si se usa la inequidad de Cauchy-Schwarz:

    E[XY]^2 \leq E[X^2]E[Y^2] R_X(\tau )^2 = E[X(t+ \tau) X(t)]^2 \leq E[X^2(t+ \tau)] E[X^2(t)] = R_X(0) |R_X(\tau)| \leq R_X(0)

    Periódica en media cuadrática

    si R_X(0) = R_X(d) , entonces R_X(\tau) es periódica con periodo d y X(t) es "periódica en media cuadrática".

    R_X(\tau + d)| = R_X(\tau)

    se aproxima a el cuadrado de la media cuando τ tiende a infinito

  • Proceso aleatorio estacionario

    Referencia: León-García 9.6, 9.6.1 p518,521; Gubner 10.3, 10.2 p395, p392; Ross 10.7 p654, p656

    Estacionario

    Un proceso aleatorio discreto o contínuo en el tiempo 
X(t) es estacionario si la distribución conjunta de 
cualquier grupo de muestras No depende de la ubicación 
del tiempo de origen.
    F_{X(t_1),..., X(t_k)} (x_1, ... x_k) = F_{X(t_1+\tau),..., X(t_k)} (x_1, ... x_k+\tau)

    para cualquier τ, k, o muestras t1, ... , tk.

    Estacionario con cdf de 1er Orden

    Un proceso aleatorio estacionario con cdf de primer orden debe ser independiente del tiempo

    F_{X(t)} (x) = F_{X(t+\tau)} (x) = F_X(x)

    para todo t, τ, dicho de otra forma, sus resultados son constantes

    m_{X}(t) = E[X(t)]=m VAR[X(t)] = E[(X(t)-m)^2] = \sigma ^2

    Estacionario con cdf de 2do Orden

    Un proceso aleatorio estacionario con cdf de segundo orden debe depender solo de la diferencia de tiempo entre muestras y NO en particular del tiempo de las muestras

    F_{X(t_1),X(t_2)} (x_1,x_2) = F_{X(0),X(t_2-t_1)} (x_1,x_2)

    para todo t1, t2

    R_{X}(t_1,t_2) = R_{X} (t_2-t_1) C_{X}(t_1,t_2) = C_{X} (t_2-t_1)

    Estacionario en el Sentido Amplio (WSS o débil)

     Un proceso aleatorio discreto o contínuo en el tiempo 
X(t) es estacionario en el sentido amplio (WSS) 
si satiface que:
    m_X(t) = m C_{X}(t_1,t_2) = C_{X} (t_2-t_1)

    De forma semejante, los procesos X(t) y Y(t) son estacionarios conjuntos si ambos son estacionarios en el sentido amplio y si covarianza cruzada depende solo de t1-t2.

    R_{X}(t_1,t_2) = R_{X} (\tau) C_{X}(t_1,t_2) = C_{X} (\tau)

  • Autocovarianza PM

    Referencia: León García Ejemplo 9.10 p495, Gubner Ejemplo 10.8 p389, Gubner Ejemplo 10.17 p396

    Sea X(t) = cos(ω t + Φ), donde Φ es uniforme en el intervalo (-π,π) Encontrar la autocovarianza de X(t).

    la variable aleatoria Φ tiene distribución uniforme en el intervalo, por lo que la función fΦ(φ) es constante = 1/[π - (-π)] = 1/2π.

    Recordamos que:

    E[g(x)] = \int_{-\infty}^{\infty} g(x) f(x) dx

    Media (León-García 4.15 p158):

    m_X(t) = E[cos(\omega t + \Phi)] = = \int_{-\pi}^{\pi} cos(\omega t + \Phi) \frac{1}{2\pi} d\Phi = \left. \frac{-1}{2\pi} (sin (\omega t + \Phi)) \right|_{-\pi}^{\pi} = \frac{-1}{2\pi} [sin (\omega t + (-\pi)) - sin (\omega t + \pi)] = 0

    Autocovarianza

    dado que el valor esperado es cero, la autocovarianza es igual a la autocorrelación

    C_{X} (t_1,t_2) = R_X (t_1,t_2) - E[X(t_1,t_2)] = R_X (t_1,t_2) = E[cos(\omega t_1 + \Phi) cos(\omega t_2 +\Phi)]

    Recordando que:

    E[g(x)] = \int_{-\infty}^{\infty} g(x) f(x) dx cos(x) cos(y) = \frac{cos(x-y) + cos(x+y) }{2}

    se tiene que:

    = \int_{-\pi}^{\pi} [cos(\omega t_1 + \Phi) cos(\omega t_2 +\Phi)] \frac{1}{2\pi} d\Phi = \int_{-\pi}^{\pi} \frac{cos(\omega (t_1 - t_2))+cos(\omega (t_1 + t_2)+ 2\Phi)}{2} \frac{1}{2\pi} d\Phi = \int_{-\pi}^{\pi} \frac{cos(\omega (t_1 - t_2))}{2} \frac{1}{2\pi} d\Phi + \int_{-\pi}^{\pi} \frac{cos(\omega (t_1 + t_2 )+ 2\Phi)}{2} \frac{1}{2\pi} d\Phi

    El primer integral, el coseno no depende de Φ, mientras que el segundo integral es semejante al intergral de la media y cuyo resultado es cero.

    = \left. \frac{cos(\omega (t_1 - t_2))}{2} \frac{\Phi}{2\pi} \right|_{-\pi}^{\pi} + 0
    C_{X} (t_1,t_2) = R_X (t_1,t_2) =
    = \frac{1}{2} cos(\omega (t_1 - t_2))

  • Autocovarianza en AM

    Referencia: León García Ejemplo 9.9 p495, Gubner Ej10.35 p496

    Sea X(t) = A cos(2πt), donde A es una variable aleatoria, con un comportamiento semejante a la figura.

    Encontrar el valor esperado , la autocorrelación y autocovarianza de de X(t).

    El valor esperado se calcula a continuación, note que la media varia respecto a t y que el valor es cero para valores de t donde cos(2πt) =0.

    E[X(t)] = E[A cos(2\pi t)] E[X(t)] = E[A] cos(2\pi t)

    La autocorrelación es:

    R_X(t_1,t_2) = E[A cos(2\pi t_1) A cos(2\pi t_2)] = E[A^{2} cos(2\pi t_1) cos(2\pi t_2)] = E[A^{2}] cos(2\pi t_1) cos(2\pi t_2)

    usando:

    2 cos(x)cos(y) = cos(x-y) + cos(x+y) cos(x)cos(y) = \frac{ cos(x-y) + cos(x + y)}{2}

    se reemplaza:

    = E[A^{2}] \frac{1}{2}[cos(2\pi t_1 - 2\pi t_2) + cos(2\pi t_1 + 2\pi t_2)] R_X(t_1,t_2) = E[A^{2}] \frac{[cos(2\pi (t_1 - t_2)) + cos(2\pi (t_1 + t_2))]}{2}

    se observa que el valor de autocorrelación depende de las diferencias de tiempo t1 y t2.

    La autocovarianza es:

    Cov_X(t_1,t_2) = R_X(t_1,t_2) - E[X(t_1)]E[X(t_2)] = E[A^{2}] cos(2\pi t_1) cos(2\pi t_2) - E[A] cos(2\pi t_1)E[A] cos(2\pi t_2) = E[A^{2}] cos(2\pi t_1) cos(2\pi t_2) - E[A]^2 cos(2\pi t_1)cos(2\pi t_2) = (E[A^{2}] - E[A]^2) cos(2\pi t_1)cos(2\pi t_2) = Var[A] cos(2\pi t_1)cos(2\pi t_2)

    con el mismo procedimiento de cos(x)cos(y):

    Cov_X(t_1,t_2) = Var[A] \frac{[cos(2\pi (t_1 - t_2)) + cos(2\pi (t_1 + t_2))]}{2}

  • Autocorrelación, Autocovarianza con variable tiempo

    Referencia: León-García 9.2.2 p493

    Se puede usar los momentos de muestras en el tiempo para parcialmente especificar un proceso aleatorio al resumir la información contenida en las cdf conjuntas.

    Procesos aleatorios Contínuos en tiempo

    Media:

    m_X(t) = E[X(t)] = \int_{-\infty}^{\infty} x f_{X(t)}(x) dx

    Varianza:

    VAR[X(t)] = \int_{-\infty}^{\infty} ( x - m_X(t))^2 f_{X(t)}(x) dx

    donde f_{X(t)}(x) es la pdf de X(t). Note que ambas son funciones determinísticas de tiempo.

    Autocorrelación

    R_X(t_1,t_2) = E[X(t_1,t_2)] = = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} xy f_{X(t_1),X(t_2)}(x,y) dx dy

    Autocovarianza:

    C_X(t_1,t_2) = E[\{X(t_1) - m_X(t_1) \} \{ X(t_2) - m_X(t_2)\} C_X(t_1,t_2) = R_X(t_1,t_2) - m_X(t_1) m_X(t_2)

    coeficiente de correlación

    \rho (t_1, t_2) = \frac{C_x(t_1,t_2)}{\sqrt{C_x(t_1,t_1)}\sqrt{C_x(t_2,t_2)}}

    El coeficiente de correlación es la medida en la cual una variable aleatoria puede predecirse como una función lineal de otra.

    Procesos aleatorios Discretos en tiempo

    Media:

    m_X(n) = E[X(n)]

    Varianza:

    VAR[X(n)] = E[(X(n) - m_X(n))^2]

    Autocorrelación

    R_X(n_1,n_2) = E[X(n_1,n_2)]

    Autocovarianza:

    C_X(n_1,n_2) = E[\{X(n_1) - m_X(n_1) \} \{ X(n_2) - m_X(n_2)\} C_X(n_1,n_2) = R_X(n_1,n_2) - m_X(n_1) m_X(n_2)

     

  • Convertidor Analógico Digital

    Ejemplo: León-García 4.20 p.161
    Un cuantizador se usa para convertir una señal analógica (ejemplo: audio) en su forma digital.

    Un cuantizador crea un mapa de un voltaje aleatorio X en el punto más próximo q(X) a los valores 2R  representados como se muestra en la figura.

    El valor de X se aproxima por q(X), el que se identifica con un número binario de R-bits. De esta forma, un voltage "analógico" X , que toma valores contínuos se convierte a un numero de R-bits.

    El cuantizador introduce un error Z = X -  q(X) como se muestra en la figura (b). Note que Z es una función de X y cuyo rango está entre -d/2 y d/2, conocido como el tamaño de paso del cuantizador.

    Suponga que X tiene una distribución uniforme en el intervalo [-xmax, xmax], que el cuentizador tiene 2R niveles, y que 2xmax = 2Rd.
    Es sencillo mostrar que > está uniformemente distribuido en el intervalo [-d/2, d/2].

    Se tiene que para una variable uniforme:
    E[X]= \frac{1}{b-a}\int_{a}^{b}t dr = \frac{a+b}{2}
    E[z] = \frac{d/2 - d/2}{2} = 0
    El error Z tiene media cero.
    La varianza es:
    VAR[Z] =\frac{(d/2 - (-d/2)^2}{12} =\frac{d^2}{12}
    El resultado es aproximadamente correcto para cualquier pdf que sea aproximadamente plana sobre un intervalo del cuantizador. Es el caso cuando 2R es grande.

    La aproximación de q(x) puede ser observada como una versión "ruidosa" de X, dado que:
    Q(Z) = X-Z
    donde Z es el error de cuantización, Una medida de cuán bueno es el cuantizador se da por el factor SNR o de señal ruido, que se define como la fracción entre la varianza de la "señal" X para la varianza de la distorción de "ruido" Z:

    \text{SNR} = \frac{VAR[X]}{VAR[Z]} = \frac{VAR[X]}{d^2 /12}
    = \frac{VAR[X]}{x_{max}^2 /3} 2^{2R}
    donde se ha usado el hecho que d= 2xmax/ 2R.
    Cuando X es no uniforme, el valor de xmax se seleccciona de tal forma que P[|X|> xmax] sea pequeña. Un casi tipico es que xmax = 4 STD[X], con lo que SNR será:
    \text{SNR} = \frac{3}{16} 2^{2R}
    lo que es genera la formula conocida como:
    \text{SNR dB} = 10 log_{10} \text{SNR} = 6R-7.3 dB

    En otras palabras, el nivel de SNR se incrementa por un factor de 4 (6db) con cada bit adicional que se usa para representar X. Esto tiene sentido dado que cada bit duplica el número de niveles de cuantización, lo cual reduce el tamaño de paso por un factor de 2. La varianza del error podría ser reducida por el cuadrado de ésto, es decir 22=4

  • Funciones de una Variable aleatoria

    Sea X una variable aleatoria y sea g(x) una función de valor real definida en el eje real.

    Defina Y= g(X), esto es. Y está determinada por la evaluación de la función en g(x) en el valor que ha tomado la variable aleatoria X.  Entonces Y también es una variable aleatoria.

    Las probabilidades de los valores para Y dependen de la función g(x) así como la función distribución acumulada de X.

    Considere una función no lineal Y=g(X) como la que se muestra en la figura.

    donde |dy| es la longitud del intervalo y < Y ≤ (y+dy).
    De forma similar, la probabilidad que el evento en cada intervalo es aproximadamente

    f_Y(y)=\left.\sum_{k} \frac{f_X(x)}{|dy/dx|} \right|_{x=x_k} =\left.\sum_{k} f_X(x) \left| \frac{dx}{dy} \right| \right|_{x=x_k}

    Ejemplo: León García 4.30 p.176

    Sea X el valor de las muestras de voltaje de una señal de voz, y suponga que X tiene una distribución uniforme en el intervalo [-4d,4d].

    Sea Y = q(X), donde la función característica de entrada-salida de un cuantizador (convertidor analógico-digital) se muetra en la figura. Encuentre la función de probabilidad de masa para Y.

    Solución: El evento {Y=q} para q en SY es equivalente al evento {X en Iq}, donde Iq es un intervalo de puntos equivalentes mapeados en representación al punto q. La pmf de Y se encuentra evaluando:
    P[Y=q] = \int_{I_q} f_X(t) dt

    Lo que permite ver fácilmente que la representación de un punto tiene un intervalo de longitud d mappeado en él. Entonces existirán ocho posibles salidas equiprobables, es decir, P[Y=q] = 1/8 para q en SY-

  • Distribución Normal estándar acumulada

    Referencia: Gubner 5.1 Table 5.1 p 189

    Valores de la función de distribución acumulada normal estandar Φ(x) y su complementaria Q(x)= 1- Φ(x). Para evaluar Φ y Q para argumentos negativos, use el hecho que la densidad normal estándar es par, Φ(-x) = Q(x).

    \Phi(x)= \frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{x} e^{-t^2 /2} dt Q(x) = 1- \Phi(x) = \frac{1}{\sqrt{2 \pi}} \int_{x}^{\infty} e^{-t^2 /2} dt
    x Φ(x) Q(x) x Φ(x) Q(x)
    0.0 0.5000 0.5000 2.0 0.9772 0.0228
    0.1 0.5398 0.4602 2.1 0.9821 0.0179
    0.2 0.5793 0.4207 2.2 0.9861 0.0139
    0.3 0.6179 0.3821 2.3 0.9893 0.0107
    0.4 0.6554 0.3446 2.4 0.9918 0.0082
    0.5 0.6915 0.3085 2.5 0.9938 0.0062
    0.6 0.7257 0.2743 2.6 0.9953 0.0047
    0.7 0.7580 0.2420 2.7 0.9965 0.0035
    0.8 0.7881 0.2119 2.8 0.9974 0.0026
    0.9 0.8159 0.1841 2.9 0.9981 0.0019
    1.0 0.8413 0.1587 3.0 0.9987 0.0013
    1.1 0.8643 0.1357 3.1 0.9990 0.0010
    1.2 0.8849 0.1151 3.2 0.9993 0.0007
    1.3 0.9032 0.0968 3.3 0.9995 0.0005
    1.4 0.9192 0.0808 3.4 0.9997 0.0003
    1.5 0.9332 0.0668 3.5 0.9998 0.0002
    1.6 0.9452 0.0548 3.6 0.9998 0.0002
    1.7 0.9554 0.0446 3.7 0.9999 0.0001
    1.8 0.9641 0.0359 3.8 0.9999 0.0001
    1.9 0.9713 0.0287 3.9 1.0000 0.0000

  • s2Eva_IIIT2012_T1 limite central lápices

    Solución propuesta

    determine el número mínimo de lápices  para el semestre de 15 semanas de clase. Probabilidad de no quedarse sin lápices 0.99

    μ =1
    σ =1
    Sn = 15

    P\left ( z < \frac{15-n}{\sqrt{n}} \right) = 0.99
    usando la tabla de Q(x) para 1-0.99 = 0.001 = 1*E(-2), x = 2.325
    \frac{15 -\mu n}{\sigma \sqrt{n}} = \frac{15 -n}{ \sqrt{n}} = 2.325
    (15 - n)^2 = (2.325 \sqrt{n})^2
    225 - 2(15)n + n^2 = (2.325)^2 n
    n^2 - 35.4056 n + 225 = 0
    n=\frac{-35.40 \pm \sqrt{(35.4056)^2 - 4 (1)(225)}}{2(1)}
    n_1 = 8.3
    n_2 = 27.1
    Entonces, tomando el menor valor de n el número de lápices mínimo es 9.