Work 20%

本次主要记录一些自己遇到的问题的解决方案 CUDA、cuDNN大致流程参照 2018 MAC安装CUDA、cuDNN（Gaming Box1070） 顺序是：GPU Driver、CUDA Driver、CUDA Toolkit、cuDNN 安装驱动时要注意：12MacOS与NVIDIA GPU Driver的版本要匹配，才能驱动显卡CUDA Driver与NVIDIA GPU Driver的版本要一致，CUDA才能找到显卡 关键地址： MAC - NVIDIA GPU Driver对照表：http:// ...

无论是处理业务逻辑，还是解决数学问题，程序员的脑海里都必须有对问题的解决方案有准确的、完整的描述，也就是算法。我不讨论算法的各种性质和定义，这次主要是总结算法复杂度几种描述方式以及P、NP和NP完全性。 复杂度时间复杂度算法的时间复杂度可以定性的描述 随着输入规模变大，算法耗时增长的快慢。 插入排序最坏情况是 $O(n^2)​$ ，归并排序最坏情况是 $O(nlogn)​$ ，这表示插入排序随着输入规模的增大，耗时呈 平方级别 的增长；而归并排序的耗时呈 nlogn级别 的增长，所以这两个函数增长的阶不在同 ...

这一次的内容甚至可以作为一个项目了，我最终得到BLEU是22.66。 点击 这里 下载实验指导文档，这里 下载实验的预备代码 RNN和神经机器翻译机器翻译是指，给定一个源句子（比如西班牙语），输出一个目标句子（比如英语）。本次作业中要实现的是一个带注意力机制的Seq2Seq神经模型，用于构建神经机器翻译（NMT）系统。首先我们来看NMT系统的训练过程，它用到了双向LSTM作为编码器（encoder）和单向LSTM作为解码器（decoder）。 给定长度为m的源语言句子（source），经过嵌入层，得到输入 ...

上个礼拜做完了，今天做个总结，主要方法和2017年差不多。 机器学习和神经网络 (8分)这一节没什么难度，认真看 a3.pdf 就行。 Adam的论文：ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION Dropout论文：Dropout: A Simple Way to Prevent Neural Networks fromOverfitting 基于神经Transition的依赖解析 (42分)依赖解析，就是分析句子的句法结构，建立 head 词和修饰这些head的词 ...

我以前在博客引用过 初学者如何查阅自然语言处理（NLP）领域学术资料 一文，里面比较详细的说明了NLP的学术会议。 这次主要是罗列这些会议和CCF等级，把收集的信息汇总起来，以备以后自查，也记录了各个会议的截稿时间、会议时间、投稿数量、录取率等数据信息，以及一些比较有用网站链接。 国外会议主要会议NLP领域四大顶会：ACL、EMNLP、NAACL（北美分会）和COLING。前三个会由ACL主办，COLING由ICCL主办。 ACL、EMNLP、NAACL每年一次，因为是同一个学术组织举办，所以会有一些有意思 ...

这次复习cs224n主要是先熟悉python和pytorch，方便之后进行论文复现等工作，同时也回顾一下模型和数学公式推导，找找感觉。 解答：理解词向量（23分）我们先快速回顾一下word2vec算法，它的核心思想是“一个词的含义取决于它周围的词”。具体来说，我们有一个中心词（center word） c，和这个词 c 周围上下文构成的窗口，这个窗口内的除了 c 之外的词叫做外围词（outside words）。比如下图中，中心词是“banking”，窗口大小为2，所以上下文窗口是：“turning”、”i ...

去年冬季学习了cs224n的2017课程，做了三个assignments，用的是TensorFlow。今年cs224n再次放课，一共有5个assignments，使用PyTorch，主讲还是Manning，特别喜欢这个老师，讲课生动有趣还挺可爱的哈哈哈~~ Assignment1(点击下载) 的任务是探索词向量。以基于计数的共现矩阵和基于预测的word2vec两种方式，计算词的相似度，研究近义词、反义词等等性质，从代码层面来理解它们，有更深刻的记忆。 作业是ipynb文件，所以要用jupyter打开，可以参 ...

问题今天刚申请了一个服务器账号，登上去发现没有zsh。 因为没有root权限，也就无法使用apt-get命令了。 解决思路如下： 编译、安装zsh到家目录 （make 时可能找不到 autoconf ） 把安装好的zsh所在的目录添加到 PATH 环境变量中 登录后自动切换到 zsh 安装oh-my-zsh （不需要root） 下面是详细过程和遇到的问题及解决方法 安装zsh官方文档：http://zsh.sourceforge.net/FAQ/zshfaq01.html 下载源码： 1wget -O ...

感知机感知机（perceptron）于1957年由Rosenblatt提出，是一种二分类线性模型。感知机以样本特征向量作为输入，输出为预测类别，取正、负两类。感知机最终学习到的是将输入空间（特征空间）划分为正、负两类的分离超平面，属于判别模型。为此，使用误分类作为损失函数，利用梯度下降优化该函数，可求得感知机模型。感知机是神经网络与支持向量机的基础。 单层感知机 第 ${i}$ 个样本的预测值 $\hat{y_i} = f(\vec{w} \cdot \vec{x_i} + b)$ ，其中 $f(\cdot ...

向量表示线性组合张成的空间和基向量矩阵矩阵乘法与线性变换矩阵的秩列空间和零空间逆矩阵行列式特征向量与特征值抽象向量空间