Трансформеры и механизмы внимания для прогнозирования финансовых временных рядов: применение в инвестиционном анализе энергетического сектора

В данной работе проводится исследование архитектур на основе механизма внимания применительно к задаче прогнозирования финансовых временны́х рядов в контексте инвестиционного анализа эмитентов энергетического сектора. Прослеживается эволюция от авторегрессионных моделей и LSTM к трансформерам; детально анализируется математика масштабированного скалярного произведения внимания и архитектура Temporal Fusion Transformer (TFT). Сравнительный анализ показывает, что TFT превосходит базовые модели по метрикам MAE и SMAPE – снижение MAE на 36% относительно ARIMA и 17% относительно LSTM – при сохранении интерпретируемости прогнозов. Вместе с тем рассматриваются квадратичная вычислительная сложность полного внимания, архитектура Informer как её решение для длинных рядов и принципиальные ограничения трансформерного подхода, включая свидетельства того, что правильно настроенная линейная модель превосходит сложные трансформерные архитектуры на ряде стандартных задач.

1. Are Transformers Effective for Time Series Forecasting? / A. Zeng, M. Chen, L. Zhang, Q. Xu // Thirty-Seventh AAAI Conference on Artificial Intelligence, AAAI 2023, Thirty-Fifth Conference on Innovative Applications of Artificial Intelligence, IAAI 2023, Thirteenth Symposium on Educational Advances in Artificial Intelligence, EAAI 2023, Washington, DC, USA, 07–14 February 2023. – AAAI Press, 2023. – P. 11121–11128.

2. Ozbayoglu A.M. Deep Learning for Financial Applications: A Survey / A.M. Ozbayoglu, M.U. Gudelek, O.B. Sezer // Applied Soft Computing. – 2020. – Vol. 93. – URL: https://doi.org/10.1016/j.asoc.2020.106384 (дата обращения: 14.02.2026).

3. Hochreiter S. Long Short-Term Memory / S. Hochreiter, J. Schmidhuber // Neural Computation. – 1997. – Vol. 9, No. 8. – P. 1735–1780.

4. Attention Is All You Need / A. Vaswani, N. Shazeer, N. Parmar [et al.] // Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, 04–09 December 2017, Long Beach, CA, USA. – 2017. – P. 5998–6008.

5. Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting / B. Lim, S.Ö. Arık, N. Loeff, T. Pfister // International Journal of Forecasting. – 2021. – Vol. 37, Iss. 4. – P. 1748–1764.

6. Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting / H. Zhou, Sh. Zhang, J. Peng [et al.] // Thirty-Fifth AAAI Conference on Artificial Intelligence, AAAI 2021, Thirty-Third Conference on Innovative Applications of Artificial Intelligence, IAAI 2021, The Eleventh Symposium on Educational Advances in Artificial Intelligence, EAAI 2021, Virtual Event, 02–09 February 2021. – AAAI Press, 2021. – P. 11106–11115.