Coordinate Descent Method with Average Weighted Direction Heuristic

Автори

In this paper, we propose the heuristic for the coordinate descent method. It dramatically enhances the method convergence on “bad” functions for it. Also, we describe the theoretical foundation of the heuristic effectiveness. Furthermore, we propose the effective C++ implementation of the coordinate descent method with average weighted heuristic. Through experiments conducted, we assess the quality of the method under study as compared to gradient descent methods and Rosenbrock method. We show the strengths and weaknesses of this method. Finally, we draw the conclusions on appropriateness of using the method under various conditions.

Publication year: 
2012
Issue: 
1
УДК: 
519.6
С. 69—75. Іл. 4. Табл. 6. Бібліогр.: 8 назв.
References: 

1. Химмельблау Д. Прикладное нелинейное программирование. — М.: Мир, 1974. — 536 с.
2. Полак Э. Численные методы оптимизации. Единый подход. — М.: Мир, 1974. — 376 с.
3. Метод градієнтного спуску. — http://en.wikipedia.org/wiki Gradient_descent
4. Rosenbrock H.H. An automatic Method for finding the greatest or least Value of a Function // Computer Journal. — 1960. — N 3. — P. 175—184.
5. Касицкий А.В. Сравнение градиентных методов // Системные науки и кибернетика. — 2011. — № 1. — С. 42—55.
6. Касицкий А.В. Анализ сходимости метода Розенброка / /Системные технологии. — 2011. — № 6. — С. 35—43.
7. Метод покоординатного спуска. — http:/ /www.machinelearning.ru/wiki/index.php?title=Метод покоординатного спуска
8. Функция Розенброка. — http://en.wikipedia.org/wiki/ Rosenbrock_function

AttachmentSize
2012-1-9.pdf312.49 KB

Тематичні розділи журналу

,