¿Cómo Medir la Exactitud de un Pronóstico?
Evitar pérdidas y agotados, reducir costos de almacenamiento y aprovechar al máximo el espacio del centro de distribución son algunos de los beneficios que genera la precisión en las predicciones. Por eso es de vital importancia calcular qué tan eficientemente se están haciendo esos pronósticos.
Zonalogística y los expertos del sector recomiendan medir el desempeño del modelo de pronóstico que se aplica en la empresa.
No puede dejarse de lado que cada error que se cometa en las predicciones genera pérdidas para la compañía[1] y por eso se debe trabajar en función de la disminución de las fallas.
La selección el método adecuado para la generación de estos reportes depende de:
- Datos, propósito y perspectiva del pronosticador.
- Propiedades de la información (periodicidad (mensual, semanal o diaria, etc.), cantidad y si se trata de series con o sin tendencia o estacionalidad).
- Horizonte requerido:
- Métodos subjetivos o cualitativos. Se fundamentan en la expresión personal, en vez de soportarse en el análisis estadístico de datos históricos.
- Métodos objetivos o cuantitativos. Basados en la evaluación de información numérica histórica.
Para evaluar la exactitud de los pronósticos – según los especialistas[2] – los enfoques que pueden emplearse para medir la exactitud de los modelos de pronósticos son:
- ¿Con qué exactitud se ajusta el modelo a la serie de datos históricos?
- ¿Con qué exactitud el modelo pronostica el futuro?
En una presentación elaborada por la firma Mind de Colombia[3] se presentan los siguientes criterios para medir la precisión de los modelos de predicciones:
- MAD: Mean Absolute Error – Media del Error Absoluto. Calcula el promedio de los errores en unidades.
- MAPE: Mean Absolute Percent Error – Media del Error Absoluto en Porcentaje. Establece el promedio del error en porcentaje.
- BIC: Bayesian Information Criterion. Se emplea para escoger el mejor modelo dentro de una familia de metodologías posibles.
- R2: es el grado de correlación entre la información histórica y el modelo de pronóstico. Es igual a la fracción de la variancia explicada por la metodología.
- Durbin – Watson: utilizado para probar la correlación de las fallas de ajustes (de auto-correlación).
- Ljung – Box: usado para probar la auto-correlación total de los errores ajustados de un modelo.
Cuando los pronósticos conllevan a decisiones, los efectos potenciales de las fallas específicas pueden ser muy variados o complejos para que sean cuantificadas.
En el evento en el que surgen estos inconvenientes se adoptan funciones de pérdida que implica las mediciones comunes de la precisión del pronóstico.
Algunas medidas para analizar dicha exactitud son:
- RCEM – Raíz Cuadrada del Error Medio. El error del pronóstico en el tiempo t y m es la cantidad de observaciones en el conjunto de información de las predicciones.
Es preferible el RCEM al error medio cuadrático porque el primero cuenta con las mismas unidades de medición que las series reportadas y – por lo tanto – es más cuadrática.
Sin embargo una desventaja que presenta esta medida es que es un cálculo absoluto que depende de las unidades de medida.
Asimismo la Raíz Cuadrada Relativa del Error Medio – RCREM es parecido al RCEM, con la excepción de que el primero es adimensional[4].
- EMA – Error Medio Absoluto. Resulta muy apropiado cuando la función de pérdida es lineal y simétrica.
- EPMA – Error Porcentual Medio Absoluto. Tiene similitud con el EMA pero se trata de una medida relativa, lo cual implica que tiene un sesgo que favorece a los pronósticos que están por debajo de los valores reportados.
Cabe decir que pueden presentarse inconvenientes cuando se aproxima a cero.
Como se puede deducir de lo expuesto anteriormente, la precisión es un factor determinante dentro del proceso de selección del sistema de pronósticos. Sin embargo no puede dejarse de lado una serie de criterios de información que son muy valiosos para realizar las predicciones con total eficiencia:
- Tamaño u horizonte de tiempo de los datos.
- Comportamiento de la información.
- Tipo de relación del pronóstico.
El primero de estos ítems es relevante porque limita la búsqueda del modelo, dado que algunos de estos funcionan para cálculos a corto plazo, otros para mediano y existen aquellos que son ideales para predicciones a largo plazo.
De igual forma el comportamiento de los datos es de suma importancia en la búsqueda del modelo de pronósticos porque si – por ejemplo – la información histórica presenta estacionalidad, no todos los esquemas de predicción cuentan con esta funcionalidad y en estos casos – según los expertos – los modelos más recomendables serían Box & Jenkins o Winters.
Finalmente, los tres tipos de relaciones posibles para los pronósticos son:
- Si la serie es única y la predicción se obtiene partiendo de su propio pasado.
- Si la serie es “no casual” y el pronóstico se logra a partir de otras bases históricas.
- Si la serie es casual y los pronósticos surgen de otras variables que se relacionan “casualmente”.
Paul Saffo[5] – Especialista en Pronósticos – asegura que hacer predicciones no se trata de ver el futuro, el objetivo es decir lo que la empresa necesita saber para tomar importantes decisiones en el presente.
Para este experto existen seis reglas para pronosticar eficazmente[6]:
- Definir un Cono de Incertidumbre: las predicciones eficaces ofrecen un contexto esencial que da forma ala intuición del “pronosticador”, ampliando su comprensión al revelar opciones que no habían sido tenidas en cuenta. Este proceso es el que Saffo denomina “trazar un cono de incertidumbre”.
- Buscar la Curva en S: por lo general, las variaciones más importantes no suceden en línea recta. En lugar de eso se presentan siguiendo la curva en S de una ley de potencias que plantea que el cambio inicia lenta e incrementalmente, avanza de forma lenta y luego explota súbitamente hasta que se nivela o comienza a descender.
- Aceptar Aquello que no Encaja: la línea ascendente de una curva en S emergente se parece a una cuerda que cuelga desde el futuro y ese evento particular que un Gerente no logra perder de vista podría ser una señal débil de la curva en mención (disruptiva y lejana para el sector) que está cobrando impulso.
Toda la porción de la curva en S a la izquierda del punto de inflexión está llena de indicadores y señales sutiles que cuando se suman, se convierten en importantes sugerencias de lo que vendrá.
- Sostener Opiniones Fuertes con Debilidad: una de las faltas más graves de los “pronosticadores” es confiar plenamente en una porción de información que pareciera ser sólida porque refuerza la conclusión a la que esta persona había llegado.
En las predicciones sucede que muchos datos débiles, pero interrelacionados son mucho más confiables que unos cuantos puntos de información sólida. El inconveniente es que los hábitos de los investigadores se basan en recopilar datos consistentes y cuando llegan a una hipótesis, tienden a ignorar toda evidencia que vaya en contra de su conclusión.
- Mirar Hacia Atrás el Doble de Lejos de lo que Mira Hacia Adelante: el espejo histórico es una herramienta muy funcional para pronósticos. Puede usarse la textura de los hechos pasados para conectar los puntos de los indicadores presentes y así crear un mapa confiable del trasegar del futuro, siempre y cuando se mire lo suficiente hacia atrás.
- Saber Cuándo No Pronosticar: los “pronosticadores” que tienen una fuerte tendencia a ver cambios pueden generar debilidad porque incluso en un periodo de cambios rápidos y significativos, los factores que no varían siempre son más que los elementos nuevos que surgen en estas fases.
Para Saffon no puede ignorarse el hecho de que hay momentos en lo que es fácil hacer predicciones y otros en los que es prácticamente imposible.
La recomendación del experto es mantenerse escéptico frente a los posibles cambios y evitar hacer pronósticos inmediatos o al menos, no tomar sólo una predicción demasiado en serio.
No puede dejarse de lado que cada error que se cometa en las predicciones genera pérdidas para la compañía y por eso se debe trabajar en función de la disminución de las fallas.
Cuando los pronósticos conllevan a decisiones, los efectos potenciales de las fallas específicas pueden ser muy variados o complejos para que sean cuantificadas.
[1] La fuente consultada cita como referencia a Granger (1969).
[2] Tomado de https://www.slideshare.net/cnavarro/pronosticos-de-demanda-presentation. El presente artículo tuvo como base la información contenida en dicho portal.
[3] Colgada en la página web https://www.slideshare.net/cnavarro/pronosticos-de-demanda-presentation
[4] No tiene dimensiones.
[6] Paul Saffo. Seis Reglas para Pronosticar Eficazmente. Harvard Business Review América Latina (Julio, 2007).