起航学习网

人工智能之回归模型（RM）,人工智能机器学习有关算法内容，请参见公众号之前相关文章。人工智能之机器学习主要有三大类:1)分类;2)回归;3)聚类。今天我们重点探讨一下回归模型（RM）。 ^_^

回归不是单一的有监督学习技术，而是许多技术所属的整个类别。回归的目的是预测数值型的目标值，如预测商品价格、未来几天的PM2.5等。最直接的办法是依据输入写出一个目标值的计算公式，该公式就是所谓的回归方程（regressionequation）。求回归方程中的回归系数的过程就是回归。回归是对真实值的一种逼近预测。回归是统计学中最有力的算法之一。

回归概念：

回归是一个数学术语,指研究一组随机变量(Y1，Y2 ，…，Yi)和另一组(X1，X2，…，Xk)变量之间关系的统计分析方法，又称多重回归分析。其中, X1、X2，…，Xk是自变量,Y1，Y2，…，Yi是因变量。

回归模型：

回归模型（Regression Model）对统计关系进行定量描述的一种数学模型。它是一种预测性的建模技术，研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。

回归分析：

回归模型重要的基础或者方法就是回归分析。回归分析是研究一个变量（被解释变量）关于另一个（些）变量（解释变量）的具体依赖关系的计算方法和理论，是建模和分析数据的重要工具。回归分析是用已知样本对未知公式参数的估计，给出一个点集D，用一个函数去拟合这个点集，并且使得点集与拟合函数间的误差最小。

回归分类：

在统计学中，回归分析（regression analysis)指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。回归分析按照涉及的变量多少，分为一元回归和多元回归分析；按照因变量的多少，可分为简单回归分析和多重回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。

常见的回归种类有：线性回归、曲线回归、逻辑回归等。

线性回归：

如果拟合函数为参数未知的线性函数，即因变量和自变量为线性关系时，则称为线性回归。

通过大量训练,得到一个与数据拟合效果最好的模型，可利用一些算法（比如最小二乘法、梯度下降法等）和工具（SPSS）来更快更好的训练出适用的线性回归模型。实质是求解出每个特征自变量的权值θ。

在训练过程中，特征选择，拟合优化等都需要考虑。

最终目标是确定每个权值（参数）θ或者通过算法逼近真实的权值（参数）θ。

需要注意的是，线性回归不是指样本的线性，样本可以是非线性的，而是指对参数θ的线性。

线性回归问题：可能会出现欠拟合、非满秩矩阵问题等。

解决方法：解决欠拟合问题，可采用局部加权线性回归LWLR（Locally Weighted Linear Regression）。解决非满秩矩阵问题，可使用岭回归RR（ridge regression）、Lasso法、前向逐步回归等。

算法优点：

1）最可解释的机器学习算法之一，理解与解释都十分直观；

2）易于使用，因为需要最小的调谐；

3）运行快，效率高；

4）最广泛使用的机器学习技术。

非线性回归：

如果拟合函数为参数未知的非线性函数，则称为非线性或曲线回归。非线性函数的求解一般可分为将非线性变换成线性和不能变换成线性两大类。

1） 变换成线性：处理非线性回归的基本方法。通过变量变换，将非线性回归化为线性回归，然后用线性回归方法处理。一般采用线性迭代法、分段回归法、迭代最小二乘法等。

2）不能变换成线性：基于回归问题的最小二乘法，在求误差平方和最小的极值问题上，应用了最优化方法中对无约束极值问题的一种数学解法——单纯形法。该算法比较简单,收敛效果和收敛速度都比较理想。

常见的非线性回归模型：1）双曲线模型；2）幂函数模型；3）指数函数模型；4）对数函数模型；5）多项式模型。

逻辑回归

将result归一化到[0, 1]区间，即使用一个逻辑方程将线性回归归一化，称为逻辑回归(logisticregression)。它是一种广义的线性回归。

逻辑回归(logistic regression)可分为二元逻辑回归、多元逻辑回归。

逻辑回归(logistic regression)是与线性回归相对应的一种分类方法。该算法的基本概念由线性回归推导而出。逻辑回归通过逻辑函数（即 Sigmoid 函数）将预测映射到 0 到 1 中间，因此预测值就可以看成某个类别的概率。

逻辑回归模型仍然还是线性的。只有在数据是线性可分，即数据可被一个超平面完全分离时，算法才能有优秀的表现。同样 Logistic 模型能惩罚模型系数而进行正则化。

算法优点：

1）输出有很好的概率解释；

2） 算法也能正则化而避免过拟合；

3）Logistic 模型很容易使用随机梯度下降和新数据更新模型权重。

算法缺点：

Logistic 回归在多条或非线性决策边界时性能比较差。

最小二乘法：

最小二乘法（或称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法可用于直线或曲线拟合。其他一些优化问题也可用最小二乘法来解决。

梯度下降法：

梯度下降法是一种迭代求全局最优（凸函数）或局部最优(非凸函数)的算法。在大数据情况下，数据的特征维度很多维，那么此时对其使用最小二乘法计算量会很大。于是考虑采用梯度下降法来求出最优。

梯度下降法主要思想：人在山顶下，有n多条路径下到山的最底部。从山顶当前位置计算所有方向的偏导，求出当前位置的各个偏导后，得到各个偏导函数的最小值，最小值即当前位置梯度的反方向，所以称为梯度下降法。

回归步骤：

1）确定变量：明确预测的具体目标，也就确定了因变量。通过调查和查阅资料，寻找与预测目标的相关影响因素，即自变量，并从中选出主要的影响因素。

2）建立预测模型：依据自变量和因变量的历史统计资料进行计算，在此基础上建立回归分析方程，即回归分析预测模型。

3）进行相关分析：回归分析是对具有因果关系的影响因素（自变量）和预测对象（因变量）所进行的数理统计分析处理。一般需要求出相关关系（通常用逐步回归、向前回归和向后回归等方法），以相关系数的大小来判断自变量和因变量的相关程度。

4）计算预测误差：回归预测模型是否可用于实际预测，取决于对回归预测模型的检验和对预测误差的计算。回归方程只有通过各种检验，且预测误差较小，才能将回归方程作为预测模型进行预测。

5）确定预测值：利用回归预测模型计算预测值，并对预测值进行综合分析，确定最后的预测值。

注意问题:

正确应用回归分析预测时应注意：

1)用定性分析判断现象之间的依存关系；

2)避免回归预测的任意外推；

3)应用合适的数据资料.

回归应用：

回归分析是通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各个参数，然后评价回归模型是否能够很好的拟合实测数据；如果能够很好的拟合，则可以根据自变量作进一步预测。

一般来说，对于连续值预测可采用线性回归和非线性回归；对于离散值/类别预测，可采用逻辑回归。

线性回归用在：销售预测、风险评估等领域。

非线性回归用在：经济预测、人力需求等领域。

逻辑回归用在：数据挖掘，疾病自动诊断等领域。

结语:

回归模型能够解决预测和分类问题。根据自变量的个数分为一元和多元回归；根据是否线性关系分为线性回归和非线性回归。在求解回归模型时要在特定的情况下选用对应的方法，在维度小或线性回归时可选用最小二乘法，而在Logistic回归时应选用梯度下降法。回归模型在人工智能之机器学习、经济预测、数据挖掘，疾病自动诊断、销售预测和风险评估等方面有着广泛应用。

文章出自：http://qh.itpxw.cn/ai/python/201839870.html

文章标题：人工智能之机器学习的类型有哪些



免责声明：本站文章均由入驻起航学习网的会员所发或者网络转载，所述观点仅代表作者本人，不代表起航学习网立场。如有侵权或者其他问题，请联系举报，必删。侵权投诉

(责任编辑：IT培训网)