Exercise 3:Multi-class Classification and Neural Networks

其实上周就做完啦,只是一直没写而已,对于这个Ng的ML课程,我希望能一直记录下去。

直到第三周,已经学习了线性回归和逻辑回归,它们可以用来实现二分类器,而且对于一些非线性分类也比较有效,例如:

但是对于非线性分类,他的Cost Function通常需要引入高阶方程:

所以选取一个预测模型非常重要,但选取一个合适的预测模型是非常困难的,因为通常会出现拟合问题,那么就诞生了”神经网络“,它其实早在上世纪40年代就有了,在沉寂了一段时间后的今天火了起来,原因是大数据和云计算的发展。

神经网络

下图是一个最简单的神经网络,它有一个输入层和一个输出层:

如果取$ h_θ(x) = \frac {1} {1 + e^{-x}} $ ,这就是一个逻辑回归呀!其中 $\theta$ 可以看做是输入层(第一层)的参数,如果在输入、输出层之间再加一层:

这是不是就是我们经常在网上看到的图呢,哈哈。他的计算过程是这样的,可以看到 $a_1^{(2)}$ 是由 $x_1, x_2, x_3$ 共同计算出来的,也就是:

$Θ^{(1)}$ 是第一层的参数,它是一个 $3 * 4 $ 的矩阵。

那么这么做有啥好处呢?我们可以发现,输入的变量只有$ x1, x2, x3$ ,通过从左到右的一层一层的计算,就能得到最后的结果。那么这期间起到作用的另外一个变量就是$Θ^{(1)}$,而它是可以通过训练这个网络(逻辑回归中的梯度下降可以理解为在训练数据集来得到一个合适的θ)来获得,这就不需要你事先选择一个精确的Cost Function模型了,你只需要考在输入、输出层之间加多少个隐藏层以及每一层的隐藏单元数量就行。

神经网络与多分类器

线性回归、逻辑回归可以实现二分类器,我们可以实现多个二分类器来作为一个多分类器,而神经网络就可以干这个事儿。举个例子,一个四分类器,他的$ y^{(i)}$ 取值可能为

它可以通过神经网络来计算,计算过程如下:

那么计算出来的结果(预测值)为:

作业1:Cost Fcuntion

这个作业先要求我们用二分类器来实现多分类器,那么每一个二分类器的Cost Function就是:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
function [J, grad] = lrCostFunction(theta, X, y, lambda)
%LRCOSTFUNCTION Compute cost and gradient for logistic regression with
%regularization
% J = LRCOSTFUNCTION(theta, X, y, lambda) computes the cost of using
% theta as the parameter for regularized logistic regression and the
% gradient of the cost w.r.t. to the parameters.

% Initialize some useful values
m = length(y); % number of training examples

% You need to return the following variables correctly
J = 0;
grad = zeros(size(theta));

J = 1/m * sum(-y .* log(sigmoid(X * theta)) - (1 - y) .* log(1 - sigmoid(X * theta)));
J = J + lambda/(2*m) * sum(theta(2:size(theta)) .^ 2);

grad = 1/m * (X' * (sigmoid(X * theta) - y)) + lambda/m * theta;
grad(1) = grad(1) - lambda/m * theta(1);

% =============================================================

grad = grad(:);

end

作业2:one vs All

对于每一个分类器,它需要只识别自己负责的部分,所以用(y==k)来训练他的θ值

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
function [all_theta] = oneVsAll(X, y, num_labels, lambda)
%ONEVSALL trains multiple logistic regression classifiers and returns all
%the classifiers in a matrix all_theta, where the i-th row of all_theta
%corresponds to the classifier for label i
% [all_theta] = ONEVSALL(X, y, num_labels, lambda) trains num_labels
% logistic regression classifiers and returns each of these classifiers
% in a matrix all_theta, where the i-th row of all_theta corresponds
% to the classifier for label i

% Some useful variables
m = size(X, 1);
n = size(X, 2);

% You need to return the following variables correctly
all_theta = zeros(num_labels, n + 1);

% Add ones to the X data matrix
X = [ones(m, 1) X];

% ====================== YOUR CODE HERE ======================
for k = 1:num_labels
initial_theta = all_theta(k:k,1:n+1)';
options = optimset('GradObj', 'on', 'MaxIter', 50);
[thetak] = fmincg (@(t)(lrCostFunction(t, X, (y == k), lambda)), ...
initial_theta, options);

all_theta(k:k,1:n+1) = thetak';
end

% =========================================================================
end

作业3:使用多分类器来预测

使用作业2训练完成的θ来预测,只需要做矩阵乘即可,这里需要注意的是,每一组数据对应的预测值是一个矩阵。例如一组数据的预测值是[0,0,0,0,1,0,0,0,0,0],那么这组数据很有可能表示的是数字5,所以我们需要取预测矩阵中最大值的索引值。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
function p = predictOneVsAll(all_theta, X)
%PREDICT Predict the label for a trained one-vs-all classifier. The labels
%are in the range 1..K, where K = size(all_theta, 1).
% p = PREDICTONEVSALL(all_theta, X) will return a vector of predictions
% for each example in the matrix X. Note that X contains the examples in
% rows. all_theta is a matrix where the i-th row is a trained logistic
% regression theta vector for the i-th class. You should set p to a vector
% of values from 1..K (e.g., p = [1; 3; 1; 2] predicts classes 1, 3, 1, 2
% for 4 examples)

m = size(X, 1);
num_labels = size(all_theta, 1);

% You need to return the following variables correctly
p = zeros(size(X, 1), 1);

% Add ones to the X data matrix
X = [ones(m, 1) X];

% ====================== YOUR CODE HERE ======================

p = X * all_theta';
[v, p] = max(p, [], 2);

% =========================================================================
end

作业4:使用神经网络进行多分类

这里比较花俏的是,Ng提供了已经训练好的Θ,我们只需要实现正向传播即可,也就是从左往右一层一层计算过去。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
function p = predict(Theta1, Theta2, X)
%PREDICT Predict the label of an input given a trained neural network
% p = PREDICT(Theta1, Theta2, X) outputs the predicted label of X given the
% trained weights of a neural network (Theta1, Theta2)

% Useful values
m = size(X, 1);
num_labels = size(Theta2, 1);

% You need to return the following variables correctly
p = zeros(size(X, 1), 1);

% ====================== YOUR CODE HERE ======================
X = [ones(size(X, 1), 1) X];

a2 = sigmoid(X * Theta1');

a2 = [ones(size(a2, 1), 1) a2];

a3 = sigmoid(a2 * Theta2');

[v, p] = max(a3, [], 2);

% =========================================================================
end

总结

第一次接触神经网络,其实也没有想象中的这么神秘,但是不得不感叹前辈们的智慧,这么几行代码就能进行图像识别了。

坚持原创文章分享,您的支持将鼓励我继续创作!