{"id":3981,"date":"2022-04-17T08:49:00","date_gmt":"2022-04-17T13:49:00","guid":{"rendered":"http:\/\/blog.espol.edu.ec\/girni\/?p=3981"},"modified":"2022-07-25T06:47:35","modified_gmt":"2022-07-25T11:47:35","slug":"lorawan-correlacion-de-medidas-vs-estacion-meteorologica","status":"publish","type":"post","link":"https:\/\/blog.espol.edu.ec\/girni\/lorawan-correlacion-de-medidas-vs-estacion-meteorologica\/","title":{"rendered":"7. LoRaWan - Correlaci\u00f3n de medidas vs estaci\u00f3n meteorol\u00f3gica"},"content":{"rendered":"

La matriz de correlaci\u00f3n entre los par\u00e1metros de propagaci\u00f3n observados y las variables de clima de una estaci\u00f3n meteorol\u00f3gica se puede procesar con Python.<\/p>\n

Se dispone de las descripciones estad\u00edsticas de Rssi obtenidas en cada punto sobre una l\u00ednea de propagaci\u00f3n usadas para estimar el modelo de propagaci\u00f3n para esa ruta.<\/p>\n

Por otra parte tambi\u00e9n se dispone de las lecturas de una estaci\u00f3n meteorol\u00f3gica cercana al lugar de mediciones.<\/p>\n

La primera parte del proceso consiste en leer los archivos en diferentes tablas, para seguir un procedimiento donde se emparejan los valores de las variables a usar. El emparejamiento se realiza buscando la fecha y hora mas cercana usando la instrucci\u00f3n de Pandas dataframe.<\/p>\n

    fechap = tablaPt['publishedAt'<\/span>][i]\r\n    donde  = tablaEM['fecha'<\/span>].searchsorted(fechap)\r\n<\/pre>\n
La matriz de correlaci\u00f3n\u00a0 se calcula usando la librer\u00eda Pandas para mantener un formato de columnas de lectura sencilla. Los datos en columnas a usar se agrupan en una tabla \"mediciones\" para realizar la llamada a corr()<\/code>.<\/p>\n
correlacion_matriz = mediciones.corr()<\/pre>\n
la tabla de correlaci\u00f3n que se obtiene:<\/p>\n
Matriz de correlaci\u00f3n: m_MD10\r\n             rssi_up  rssi_down      TEMP  Humidity  Solar_rad  Bar_press.  Rainfall\r\nrssi_up     1.000000   0.062009 -0.103856  0.050208  -0.079344    0.172215       NaN\r\nrssi_down   0.062009   1.000000 -0.058020 -0.004584   0.002753    0.158011       NaN\r\nTEMP       -0.103856  -0.058020  1.000000 -0.972939   0.841263   -0.673707       NaN\r\nHumidity    0.050208  -0.004584 -0.972939  1.000000  -0.819612    0.618423       NaN\r\nSolar_rad  -0.079344   0.002753  0.841263 -0.819612   1.000000   -0.361084       NaN\r\nBar_press.  0.172215   0.158011 -0.673707  0.618423  -0.361084    1.000000       NaN\r\nRainfall         NaN        NaN       NaN       NaN        NaN         NaN       NaN\r\n<\/pre>\n
La matriz de correlaci\u00f3n se aplica para cada punto.<\/p>\n
Instrucciones en Python<\/h2>\n
# Archivos de sensores y estaci\u00f3n meteorologica<\/span>\r\n# correlacion entre medida_Punto y sensor_EM<\/span>\r\nimport<\/span> numpy as<\/span> np\r\nimport<\/span> pandas as<\/span> pd\r\nimport<\/span> datetime as<\/span> dt\r\nimport<\/span> matplotlib.pyplot as<\/span> plt\r\nfrom<\/span> matplotlib.dates import<\/span> DateFormatter, DayLocator\r\n\r\n# INGRESO<\/span>\r\n# tabla punto<\/span>\r\narchivoPunto = \"data_m_MD10.csv\"<\/span>\r\nmedida_Punto = [\"rssi_up\"<\/span>,\"rssi_down\"<\/span>]\r\nmedida_Punto_u = [\"(dBm)\"<\/span>,\"(dBm)\"<\/span>]\r\n\r\n# tabla estacion meteorologica<\/span>\r\narchivoEM = \"2021_10a12EstMeteorologica.csv\"<\/span>\r\nsensor_EM = [\"TEMP\"<\/span>,\"Humidity\"<\/span>,\"Solar_rad\"<\/span>,\r\n             \"Bar_press.\"<\/span>,\"Rainfall\"<\/span>]\r\nsensor_EM_u = [\"(\u00b0C)\"<\/span>,\"(%)\"<\/span>,\"(kW)\"<\/span>,\r\n               \"(hPa)\"<\/span>,\"(mm)\"<\/span>]\r\n\r\n# carpeta de resultados<\/span>\r\ncarpeta_rsm = \"correlacion_rsm\"<\/span>\r\n\r\n# PROCEDIMIENTO<\/span>\r\n# tabla punto<\/span>\r\ntablaPt = pd.read_csv(archivoPunto)\r\ntablaPt = tablaPt.drop(columns='Unnamed: 0'<\/span>)\r\ntablaPt = pd.DataFrame(tablaPt)\r\ntablaPt_n = len<\/span>(tablaPt)\r\nfechaformatoPt = \"%Y-%m-%d %H:%M:%S.%f\"<\/span>\r\ntablaPt['publishedAt'<\/span>] = pd.to_datetime(tablaPt['publishedAt'<\/span>],\r\n                                      format<\/span>=fechaformatoPt)\r\n# tabla estacion meteorologica<\/span>\r\ntablaEM = pd.read_csv(archivoEM, sep=';'<\/span>,decimal=','<\/span>)\r\ntablaEM = pd.DataFrame(tablaEM)\r\ntablaEM_n = len<\/span>(tablaEM)\r\nfechaformatoEM = \"%d\/%m\/%Y %H:%M:%S\"<\/span>\r\ntablaEM['fecha'<\/span>] = tablaEM['Date'<\/span>]+' '<\/span>+tablaEM['Time'<\/span>]\r\ntablaEM['fecha'<\/span>] = pd.to_datetime(tablaEM['fecha'<\/span>],\r\n                                  format<\/span>=fechaformatoEM)\r\n\r\n# intersecta tablas: punto con estacion meteorologica<\/span>\r\n# columnas vacias<\/span>\r\nfor<\/span> j in<\/span> range<\/span>(0,len<\/span>(sensor_EM),1):\r\n    tablaPt[sensor_EM[j]] = np.NAN\r\n# busca fecha y hora mas cercana<\/span>\r\nfor<\/span> i in<\/span> range<\/span>(0,tablaPt_n-1,1):\r\n    fechap = tablaPt['publishedAt'<\/span>][i]\r\n    donde  = tablaEM['fecha'<\/span>].searchsorted(fechap)\r\n    if<\/span> donde<tablaEM_n:\r\n        for<\/span> j in<\/span> range<\/span>(0,len<\/span>(sensor_EM),1):\r\n            sensor_EMvalor = tablaEM[sensor_EM[j]][donde]\r\n            tablaPt.at[i,sensor_EM[j]] = sensor_EMvalor\r\n\r\n# Matriz de Correlaci\u00f3n<\/span>\r\ncolumnas = medida_Punto.copy()\r\ncolumnas.extend(sensor_EM)\r\nmediciones = tablaPt[columnas].copy()\r\ncorrelacion_matriz = mediciones.corr()\r\n\r\n# Para graficas<\/span>\r\nti  = tablaPt['publishedAt'<\/span>]\r\nmedida_graf = {}\r\nuntitulo = archivoPunto.split('.'<\/span>)[0][5:]\r\nfor<\/span> i in<\/span> range<\/span>(0,len<\/span>(medida_Punto),1):\r\n    xi = tablaPt[medida_Punto[i]]\r\n    xiavg = np.around(np.average(xi),1)\r\n    xistd = np.around(np.std(xi),2)\r\n    etiq = medida_Punto[i]+' '<\/span>+str<\/span>(xiavg)\r\n    etiq = etiq+' +\/- '<\/span>+str<\/span>(xistd)\r\n    medida_graf[i] = {'medida'<\/span>:xi,'promedio'<\/span>:xiavg,\r\n                      'std'<\/span>:xistd,'etiqueta'<\/span>:etiq}\r\n# SALIDA<\/span>\r\nprint<\/span>('Matriz de correlaci\u00f3n:'<\/span>, untitulo)\r\nprint<\/span>(correlacion_matriz)\r\n\r\n# Guarda archivo de matriz de correlaci\u00f3n<\/span>\r\nunresumen = carpeta_rsm+'\/'<\/span>+untitulo+'_correlacion.csv'<\/span>\r\ntablacorr = correlacion_matriz.round(decimals=4)\r\ntablacorr.to_csv(unresumen)\r\n\r\n# Grafica  variable vs tiempo --------<\/span>\r\ncolores = ['blue'<\/span>,'orange'<\/span>,'green'<\/span>,'magenta'<\/span>]\r\nfor<\/span> j  in<\/span> range<\/span>(0,len<\/span>(sensor_EM),1): # cada sensor_EM<\/span>\r\n    graf_ylim =[]\r\n    fig_Pt, graf_EM = plt.subplots(2,1)\r\n    for<\/span> i in<\/span> range<\/span>(0,len<\/span>(medida_Punto),1): # cada medida_Punto<\/span>\r\n        # medida del punto<\/span>\r\n        graf_EM[i].scatter(ti,medida_graf[i]['medida'<\/span>],\r\n                           marker = '.'<\/span>,color=colores[i],\r\n                           label=medida_graf[i]['etiqueta'<\/span>])\r\n        # estacion meteorologica<\/span>\r\n        eje12 = graf_EM[i].twinx()  # eje de izquierda<\/span>\r\n        yi = tablaPt[sensor_EM[j]]\r\n        eje12.scatter(ti,yi, marker = '.'<\/span>,\r\n                      color='lightgreen'<\/span>,label=sensor_EM[j])\r\n        # etiquetas<\/span>\r\n        graf_EM[i].xaxis.set_major_formatter(DateFormatter('%H:%M'<\/span>))\r\n        etiq_izq = medida_Punto[i]+' '<\/span>+medida_Punto_u[i]\r\n        graf_EM[i].set_ylabel(etiq_izq, color=colores[i])\r\n        etiq_der = sensor_EM[j]+' '<\/span>+sensor_EM_u[j]\r\n        eje12.set_ylabel(etiq_der, color='green'<\/span>)\r\n        graf_EM[i].legend()\r\n        graf_ylim.extend(list<\/span>(graf_EM[i].get_ylim()))\r\n\r\n    # ejey subgraficas, limites izquierdo iguales<\/span>\r\n    y_a = np.min(graf_ylim)\r\n    y_b = np.max(graf_ylim)\r\n    for<\/span> i in<\/span> range<\/span>(0,len<\/span>(medida_Punto),1):\r\n        graf_EM[i].set_ylim(y_a,y_b)\r\n    # titulos<\/span>\r\n    titulo_graf = untitulo +': '<\/span>+medida_Punto[0].split('_'<\/span>)[0]\r\n    titulo_graf = titulo_graf +' vs '<\/span>+sensor_EM[j]\r\n    graf_EM[0].set_title(titulo_graf)\r\n    fig_Pt.tight_layout()\r\n    # archivo de grafico<\/span>\r\n    arch_graf = untitulo +'_'<\/span>+medida_Punto[0].split('_'<\/span>)[0]\r\n    arch_graf = arch_graf +'_'<\/span>+sensor_EM[j]\r\n    plt.savefig(carpeta_rsm+'\/'<\/span>+arch_graf+'.png'<\/span>)\r\n# plt.show()<\/span>\r\n\r\n# Grafica entre variables --------<\/span>\r\nfor<\/span> j  in<\/span> range<\/span>(0,len<\/span>(sensor_EM),1): # cada sensor_EM<\/span>\r\n    fig_Pt, graf_EM = plt.subplots(2,1)\r\n    for<\/span> i in<\/span> range<\/span>(0,len<\/span>(medida_Punto),1): # cada medida_Punto<\/span>\r\n        graf_EM[i].scatter(medida_graf[i]['medida'<\/span>],\r\n                           tablaPt[sensor_EM[j]],\r\n                           marker = '.'<\/span>,color=colores[i])\r\n        # etiquetas<\/span>\r\n        etiq_x = medida_Punto[i]+' '<\/span>+medida_Punto_u[i]\r\n        graf_EM[i].set_xlabel(etiq_x, color=colores[i])\r\n        etiq_y = sensor_EM[j]+' '<\/span>+sensor_EM_u[j]\r\n        graf_EM[i].set_ylabel(etiq_y, color='green'<\/span>)\r\n    # titulos<\/span>\r\n    titulo_graf = untitulo +': '<\/span>+medida_Punto[0].split('_'<\/span>)[0]\r\n    titulo_graf = titulo_graf +' vs '<\/span>+sensor_EM[j]\r\n    graf_EM[0].set_title(titulo_graf)\r\n    fig_Pt.tight_layout()\r\n    # archivo de grafico<\/span>\r\n    arch_graf = untitulo +'_'<\/span>+medida_Punto[0].split('_'<\/span>)[0]\r\n    arch_graf = arch_graf +'_'<\/span>+sensor_EM[j]\r\n    plt.savefig(carpeta_rsm+'\/'<\/span>+arch_graf+'.png'<\/span>)\r\nplt.show()\r\n<\/pre>\n
Referencia<\/strong><\/em>: Correlaci\u00f3n y lectura de archivos con Python<\/p>\n
Correlaci\u00f3n con Python \u2013 Ejercicio Estaci\u00f3n Meteorol\u00f3gica<\/a>. ESTG1003 - Procesos Estoc\u00e1sticos<\/p>\n
Archivos.csv con Python \u2013 Ejercicio con gr\u00e1fica de temperatura y Humedad<\/a>. CCPG1001 - Fundamentos de programaci\u00f3n<\/p>\n","protected":false},"excerpt":{"rendered":"
La matriz de correlaci\u00f3n entre los par\u00e1metros de propagaci\u00f3n observados y las variables de clima de una estaci\u00f3n meteorol\u00f3gica se puede procesar con Python. Se dispone de las descripciones estad\u00edsticas de Rssi obtenidas en cada punto sobre una l\u00ednea de propagaci\u00f3n usadas para estimar el modelo de propagaci\u00f3n para esa ruta. Por otra parte tambi\u00e9n … <\/p>\n
Continuar leyendo \"7. LoRaWan - Correlaci\u00f3n de medidas vs estaci\u00f3n meteorol\u00f3gica\"<\/span><\/a><\/p>\n","protected":false},"author":8043,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1466681],"tags":[],"class_list":["post-3981","post","type-post","status-publish","format-standard","hentry","category-lorawan-registro-de-estados"],"_links":{"self":[{"href":"https:\/\/blog.espol.edu.ec\/girni\/wp-json\/wp\/v2\/posts\/3981","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.espol.edu.ec\/girni\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.espol.edu.ec\/girni\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.espol.edu.ec\/girni\/wp-json\/wp\/v2\/users\/8043"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.espol.edu.ec\/girni\/wp-json\/wp\/v2\/comments?post=3981"}],"version-history":[{"count":5,"href":"https:\/\/blog.espol.edu.ec\/girni\/wp-json\/wp\/v2\/posts\/3981\/revisions"}],"predecessor-version":[{"id":3986,"href":"https:\/\/blog.espol.edu.ec\/girni\/wp-json\/wp\/v2\/posts\/3981\/revisions\/3986"}],"wp:attachment":[{"href":"https:\/\/blog.espol.edu.ec\/girni\/wp-json\/wp\/v2\/media?parent=3981"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.espol.edu.ec\/girni\/wp-json\/wp\/v2\/categories?post=3981"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.espol.edu.ec\/girni\/wp-json\/wp\/v2\/tags?post=3981"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}