什么叫线性回归、非线性回归。回归分析是什么。线...线性回归是利用数理统计中的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法之一，运用十分广泛。
有一类模型，其回归参数不是线性的，也不能通过转换的方法将其变为线性的参数。这类模型称为非线性回归模型。
回归分析（regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。
已知某函数的若干离散函数值{f1,f2,…,fn}，通过调整该函数中若干待定系数f(λ1, λ2,…,λm), 使得该函数与已知点集的差别（最小二乘意义）最小。如果待定函数是线性，就叫线性拟合或者线性回归(主要在统计中)。
所谓参数拟合，就是已知试验或者真实数据，然后寻找一个模型对其规律进行模拟的过程中，求取模型中未知参数的一个过程。
参数模型和非参数模型的区别参数和非参可以简单的这样理解区别：参数模型是求一个解析解，非参是近似解。参数是数量化的得到一个确定的结果；非参（利用直接记录或分析输入和输出的方法估计）是一个不完全归纳的过程，得出一个拟合的关系。优势不好比较，两种方法建立的模型要看结果的命中概率了。
女装服装专卖店3D模型下载
高斯过程说它是非参数模型，这点怎么理解Nonparametric statistics
In statistics, the term "non-parametric statistics" has at least two different meanings:
1. The first meaning of non-parametric covers techniques that do not rely on data belonging to any particular distribution.
2. The second meaning of non-parametric covers techniques that do not assume that the structure of a model is fixed. Typically, the model grows in size to accommodate the complexity of the data. In these techniques, individual variables are typically assumed to belong to parametric distributions, and assumptions about the types of connections among variables are also made. These techniques include, among others:
a) non-parametric regression, which refers to modeling where the structure of the relationship between variables is treated non-parametrically, but where nevertheless there may be parametric assumptions about the distribution of model residuals.
b) non-parametric hierarchical Bayesian models, such as models based on the Dirichlet process, which allow the number of latent variables to grow as necessary to fit the data, but where individual variables still follow parametric distributions and even the process controlling the rate of growth of latent variables follows a parametric distribution.
Non-parametric models differ from parametric models in that the model structure is not specified a priori but is instead determined from data. The term non-parametric is not meant to imply that such models completely lack parameters but that the number and nature of the parameters are flexible and not fixed in advance.
对于Gaussian process regression, 我想这应该是属于第二点。
下面看一下一般的regression,
我们一般给定误差服从一个标准（多维）正态分布，而对于一般的线性模型，则给定。
若此时我们关心的是对回归的系数, 一旦确定了整个模型就已经确定了，因而普遍认为是这是参数化的模型。当然若是此时，我们对f(x)所有的样本点进行假设，来自正态样本（未知均值和方差），且随机误差仍然是满足白噪声，那么此时模型毫无疑问仍然是参数化的，因为只要对其进行均值和方差的估计，模型也立刻被确定。
再回到Gaussian process regression，不失一般性地从的functional space view看，我们的假定是f满足一个GP。注意这里假定的f是一个随机过程，而不是具体的分布。
这里的每一条曲线都是给定确定参数的mean和kernel的GP 的一个sample,。图中画了给定mean: , k = SE with , 的10个samples, 并且每一个sample都是由100点画出来来的曲线。
实际上，我们假定的是一组观测值来自某一个确定的高斯过程（mean, kernel里面的参数未知）的一个sample上的一组点（一个sample上也有无穷多个点实际上）。然而当我们给定一组观测点的时候，其实并不能唯一确定这个组点来自哪个高斯过程（因为过这有限个点的高斯过程仍然有无穷多个）
但是，模型不用被唯一确定并不意味着没有意义，我们仍然可以根据相关的高斯过程与高斯分布的一些性质，在通过学习找到最有可能的高斯过程（当然根据mean, kernel确定性定理，其实也就是得到mean和kernel里面的参数），然后就可以对未知的一些情况进行prediction。再回过头来，宏观的看看GPR模型。事实上，我们现在知道就是这一系列的x 和f(X). 对应到图上，实际上我们有的是一系列的点，我们要做什么？去找到经过这些点的最有可能的GP中的一个sample, 因为其实经过这有限个点的GP的sample仍然是无限多个。至于这个寻找的过程就是所谓的learning或者实际来讲就是后面要说的integral evaluation（其中可以是参数估计的方法也可以是MCMC的方法）。一旦找到了，那也就意味着这个GP对应的mean 和kernel也知道了，实际的来说就是mean 和kernel里面的undetermined parameter被学习得出了。那之后的预测就不成问题了。
因此按照上述所说，一个不是能被参数唯一确定的模型自然应该是非参数模型了，尽管它的模型中仍然有确定的分布和参数个数。所以，GP之所以是非参的方法是因为它参数估计没有完全确定模型(当然后面讲的，其实压根不需要参数估计事实上。)
不过有些学者也认为这是参数统计与非参数统计之间并没有泾渭分明的界线[4]。比如，我们在一般的回归模型上去掉误差假设，对随机误差没有任何假定，从问题总体去看，这也可以是非参数的 [4]。
就本质而言，个人认为参数化方法与非参数方法的区别在于，其间是不是一定需要参数估计。而对于GP之所以说是本质是一种非参数化的方法，言下之意就是其实它可以不用参数估计。对于模型，我们其实我们最终是要得到
（1）
这里的D是指整个training set。 事实上，整个预测过程我们就是去估计这个积分。但是这个积分大多数时候并不是有具体表达形式的，所以方法主要是有两种[1]。
1．用最有可能的参数值（mean 和kernel里面的参数）去估计整个积分， 即： （2）
2．关于, 进行纯数值的方法，比如MCMC(蒙特卡罗)直接进行估计[2]，这就是所谓的不用参数。
不过无论是哪一种，其实更关键的在于对这个分布的估计。从Bayesian的角度看，这个分布可以用后验表达
（3）
其中是整个training set. 其中这一项在正态的假设下很多得到经验的likelihood， 如果我们以这个likelihood最大为要求（这就是所谓的极大似然估计），那么我们根据training set 很快得到对的估计，就是最有可能的。如果是使用公式（3），就是MCMC,那么我们还需要对进行讨论，但是如果使用公式（2），那么问题已经作完 参数已知的话代入具体形式就好（这里GP还用到了良好的conditional 条件让这个积分可以直接计算）。
虽然看上去这样子的话公式（2）的方法更简单，但是事实上，这里却存在一个问题就是这里的极大似然估计，相当于一个最优化问题。由于目标函数不一定是凸的，所以一定程度上我们需要良好的初值才能有良好的效果。这一点有时候还是很致命的。这里我之前的一个文章[3]做了简单的讨论。
所以总的来讲，各种各有优劣，至今为止，这两种方法其实都在被人使用，不过目前学术上可能还是第一种更多吧。
