08神经网络原理
非线性假设
- 当特征很多时，如果包含各种高阶项，特征空间会爆炸。
- 在非线性空间中，使用逻辑回归进行分类，会导致特征空间过多。
神经网络
相关术语
- input layer输入层
- output layer输出层
- bias unit 偏置单元
- sigmod、logistic activation function激活函数
- $\theta$模型参数=模型权重
模型展示
- 神经网络本身是机器学习的一个假设函数。
- 使用数学计算能够表示神经网络的计算过程。即计算给定输入后，计算神经网络的输出值。
- 使用向量化的计算方法，计算神经网络的前向传播过程。
实例
- 使用神经网络表示逻辑运算。
- sigmod算子。+-10，+-20
计算向量化
- 普通计算向量化
- 多组数据矩阵化
- 使用向量，来表示计算过程。使用矩阵来表示多组数据的计算过程。
- 在线性回归和逻辑回归当中，多组输入向量，乘，固定的参数向量，等于，输出向量。
- 在神经网络中，一组输入向量，乘，多组参数向量，等于，输出向量。
- 下标用来表示矩阵和向量中的元素位置。上标表示迭代的代数。
编程任务：使用神经网络进行多元分类
- 寻找图片的数据集。
- 区分不同的交通工具
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Estom的博客！
相关推荐
2021-03-20
a_demo_of_the_spectral_clustering_algorithm
频谱双聚类算法演示 翻译者：@N!no校验者：待校验 这个例子演示了如何使用光谱聚类算法生成棋盘数据集并对其进行聚类处理。 数据是用make_checkerboard函数生成的，然后打乱顺序并传递给光谱双聚类算法。变换后的矩阵的行和列被重新排列，以显示该算法找到的双聚类。 行和列标签向量的外积表示棋盘结构。 1consensus score: 1.0 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950print(__doc__)# Author: Kemal Eren <kemal@kemaleren.com># License: BSD 3 clauseimport numpy as npfrom matplotlib import pyplot as pltfrom sklearn.datasets import make_checkerboardfrom sklearn.cluster import SpectralB...
2020-09-26
ellipse_demo
椭圆演示绘制多个椭圆。此处绘制单个椭圆。将其与Ellipse集合示例进行比较。 12345678910111213141516171819202122import matplotlib.pyplot as pltimport numpy as npfrom matplotlib.patches import EllipseNUM = 250ells = [Ellipse(xy=np.random.rand(2) * 10, width=np.random.rand(), height=np.random.rand(), angle=np.random.rand() * 360) for i in range(NUM)]fig, ax = plt.subplots(subplot_kw={'aspect': 'equal'})for e in ells: ax.add_artist(e) e.set_clip_box(ax.bbox) ...
2021-03-08
TensorFlow-IO
TensorFlow - IO 在 tf.data 之前，一般使用 QueueRunner，但 QueueRunner 基于 Python 的多线程及队列等，效率不够高，所以 Google发布了tf.data，其基于C++的多线程及队列，彻底提高了效率。所以不建议使用 QueueRunner 了，取而代之，使用 tf.data 模块吧：简单、高效。 preload直接将数据设置为常量，加载到TensorFlow的graph中。 12345678import tensorflow as tfx1 = tf.constant([2,3,4])x2 = tf.constant([4,0,1])y = tf.add(x1,x2)with tf.Session() as sess: print(sess.run(y)) feed_dict使用Python代码获取数据，通过给run()或者eval()函数输入feed_dict参数，传入数据，可以启动运算过程。 1234with tf.Session(): input = tf.placeholder(tf.float32) c...
2020-09-27
7.集成方法-随机森林和AdaBoost
第7章 集成方法 ensemble method 参考文献 https://zhuanlan.zhihu.com/p/62993244 1 集成方法ensemble method/元算法: meta algorithm 概述 概念: 是对其他算法进行组合的一种形式。通俗来说: 当做重要决定时，大家可能都会考虑吸取多个专家而不只是一个人的意见.机器学习处理问题时又何尝不是如此？ 这就是集成方法背后的思想。 集成方法: 投票选举bagging=自举汇聚法 bootstrap aggregating: 是基于数据随机重抽样分类器构造的方法。将某个学习算法分别作用于多个数据集就得到了S个分类器。当对新数据进行分类时，可以应用这S个分类器进行分类，选择分类器投票结果中最多的类别作为最后的分类结果。随机森林是比较常见的bagging方法。 再学习(boosting): 是基于所有分类器的加权求和的方法。boosting通过集中关注被已有分类器错分的那些数据来获得新的分类器。由于boosting分类的结果是基于所有分类器的加权求和结果的，因此boos...
2021-09-02
log
概述log 模块用于在程序中输出日志，它的使用十分简单，类似于fmt中的Print，一个最简单的示例如下： 1234567package mainimport "log"func main() { log.Print("Hello World")} 上面的程序会在命令行打印一条日志: 1>>> 2018/05/16 16:48:06 Hello World LoggerLogger是写入日志的基本组件，log模块中存在一个标准Logger，可以直接通过log进行访问，所以在上一节的例子中可以直接使用log.Print进行日志进行输出。但是在实际使用中，不同类型的日志可能拥有需求，仅标准Logger不能满足日志记录的需求，通过创建不同的Logger可以将不同类型的日志分类输出。使用logger前需要首先通过New函数创建一个Logger对象，函数声明如下： 1func New(out io.Writer, prefix string, flag int) *Logger 函数接收三个参数分别是日...
2021-04-29
02 Pytorch 60分钟
一、PyTorch 60分钟 1 概述 什么是 PyTorch？ 本次教程的目标： 2 模块 2.1 torch模块 2.2 torch.Tensor模块类 2.3 torch.sparse 2.4 torch.cuda 2.5 torch.nn.*模块 2.6 torch.nn.Functional函数模块 2.7 torch.nn.init模块 2.8 torch.optim模块 2.9 torch.autograd模块 2.10 torch.distributed模块 2.11 torch.distributions模块 2.12 torch.hub模块 2.13 torch.jit模块 2.14 torch.multiprocessing模块 2.15 torch.random模块 2.16 torch.onnx模块 2.17 torch.utils模块 1 torch.utils.bottleneck模块 2 torch.utils.checkpoint模块 3 torch.utils.cpp_extension模块 4 torch.utils.data模块 5 ...
