Hi,大家好,我是编程小6,很荣幸遇见你,我把这些年在开发过程中遇到的问题或想法写出来,今天说一说Hessian矩阵正定与函数凹凸性的关系[通俗易懂],希望能够帮助你!!!。
1. 从矩阵变换的角度
首先半正定矩阵定义为:
其中X 是向量,M 是变换矩阵
我们换一个思路看这个问题,矩阵变换中,![Hessian矩阵正定与函数凹凸性的关系[通俗易懂]__第2张_编程好6博客 Hessian矩阵正定与函数凹凸性的关系[通俗易懂]_https://bianchenghao6.com/blog__第2张](https://img-blog.csdnimg.cn/20191226132402889.png)
于是半正定矩阵可以写成:
这个是不是很熟悉呢? 他是两个向量的内积。 同时我们也有公式:
||X||, ||Y||代表向量 X,Y的长度,![Hessian矩阵正定与函数凹凸性的关系[通俗易懂]__第6张_编程好6博客 Hessian矩阵正定与函数凹凸性的关系[通俗易懂]_https://bianchenghao6.com/blog__第6张](https://img-blog.csdnimg.cn/20191226132457194.png)
这下明白了么?
正定、半正定矩阵的直觉代表一个向量经过它的变化后的向量与其本身的夹角小于等于90度。
正定矩阵是一个椭球。也就是说![Hessian矩阵正定与函数凹凸性的关系[通俗易懂]__第8张_编程好6博客 Hessian矩阵正定与函数凹凸性的关系[通俗易懂]_https://bianchenghao6.com/blog__第8张](https://img-blog.csdnimg.cn/20191226132604407.png)
![Hessian矩阵正定与函数凹凸性的关系[通俗易懂]__第9张_编程好6博客 Hessian矩阵正定与函数凹凸性的关系[通俗易懂]_https://bianchenghao6.com/blog__第9张](https://img-blog.csdnimg.cn/20191226132618438.png)
,
其中:
下图是n=2的情况:
![Hessian矩阵正定与函数凹凸性的关系[通俗易懂]__第11张_编程好6博客 Hessian矩阵正定与函数凹凸性的关系[通俗易懂]_https://bianchenghao6.com/blog__第11张](https://img.mushiming.top/app/bianchenghao6_com/2023-08-05-d6cf5db9bfe8447a972cbbaf3d77dc5f.jpg)
![Hessian矩阵正定与函数凹凸性的关系[通俗易懂]__第12张_编程好6博客 Hessian矩阵正定与函数凹凸性的关系[通俗易懂]_https://bianchenghao6.com/blog__第12张](https://img-blog.csdnimg.cn/20191226132652902.png)
![Hessian矩阵正定与函数凹凸性的关系[通俗易懂]__第13张_编程好6博客 Hessian矩阵正定与函数凹凸性的关系[通俗易懂]_https://bianchenghao6.com/blog__第13张](https://img-blog.csdnimg.cn/20191226132659545.png)
![Hessian矩阵正定与函数凹凸性的关系[通俗易懂]__第14张_编程好6博客 Hessian矩阵正定与函数凹凸性的关系[通俗易懂]_https://bianchenghao6.com/blog__第14张](https://img.mushiming.top/app/bianchenghao6_com/2023-08-05-1e4ae88fc45c4b158fe36102d26eb65c.jpg)
3. 判定方法
正定性的判定方法有很多重,其中最方便也是常用的一种为:
若所有特征值均不小于零,则称为半正定。
若所有特征值均大于零,则称为正定。
当然,通过主元变换或直接求出行列式的值也是方法之一,但由于缺乏充分性,即行列式小于零一定非正定,但大于零则不一定正定,因为偶数次的负元素相乘依旧得正,因此用所有主元(对角线)上的元素来判断的方法更为完备。
4. 黑塞矩阵的正定性
Hessian矩阵的正定性在判断优化算法可行性时非常有用,简单地说,黑塞矩阵正定,则
1. 函数的二阶偏导数恒 > 0
2. 函数的变化率(斜率)即一阶导数始终处于递增状态
3. 函数为凸
因此,在诸如牛顿法等梯度方法中,使用黑塞矩阵的正定性可以非常便捷的判断函数是否有凸性,也就是是否可收敛到局部/全局的最优解
今天的分享到此就结束了,感谢您的阅读,如果确实帮到您,您可以动动手指转发给其他人。
上一篇
已是最后文章
下一篇
已是最新文章