Work 20%

本次主要记录一些自己遇到的问题的解决方案 CUDA、cuDNN大致流程参照 2018 MAC安装CUDA、cuDNN（Gaming Box1070） 顺序是：GPU Driver、CUDA Driver、CUDA Toolkit、cuDNN 安装驱动时要注意：12MacOS与NVIDIA GPU Driver的版本要匹配，才能驱动显卡CUDA Driver与NVIDIA GPU Driver的版本要一致，CUDA才能找到显卡 关键地址： MAC - NVIDIA GPU Driver对照表：http:// ...

这一次的内容甚至可以作为一个项目了，我最终得到BLEU是22.66。 点击 这里 下载实验指导文档，这里 下载实验的预备代码 RNN和神经机器翻译机器翻译是指，给定一个源句子（比如西班牙语），输出一个目标句子（比如英语）。本次作业中要实现的是一个带注意力机制的Seq2Seq神经模型，用于构建神经机器翻译（NMT）系统。首先我们来看NMT系统的训练过程，它用到了双向LSTM作为编码器（encoder）和单向LSTM作为解码器（decoder）。 给定长度为m的源语言句子（source），经过嵌入层，得到输入 ...

上个礼拜做完了，今天做个总结，主要方法和2017年差不多。 机器学习和神经网络 (8分)这一节没什么难度，认真看 a3.pdf 就行。 Adam的论文：ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION Dropout论文：Dropout: A Simple Way to Prevent Neural Networks fromOverfitting 基于神经Transition的依赖解析 (42分)依赖解析，就是分析句子的句法结构，建立 head 词和修饰这些head的词 ...

我以前在博客引用过 初学者如何查阅自然语言处理（NLP）领域学术资料 一文，里面比较详细的说明了NLP的学术会议。 这次主要是罗列这些会议和CCF等级，把收集的信息汇总起来，以备以后自查，也记录了各个会议的截稿时间、会议时间、投稿数量、录取率等数据信息，以及一些比较有用网站链接。 国外会议主要会议NLP领域四大顶会：ACL、EMNLP、NAACL（北美分会）和COLING。前三个会由ACL主办，COLING由ICCL主办。 ACL、EMNLP、NAACL每年一次，因为是同一个学术组织举办，所以会有一些有意思 ...

这次复习cs224n主要是先熟悉python和pytorch，方便之后进行论文复现等工作，同时也回顾一下模型和数学公式推导，找找感觉。 解答：理解词向量（23分）我们先快速回顾一下word2vec算法，它的核心思想是“一个词的含义取决于它周围的词”。具体来说，我们有一个中心词（center word） c，和这个词 c 周围上下文构成的窗口，这个窗口内的除了 c 之外的词叫做外围词（outside words）。比如下图中，中心词是“banking”，窗口大小为2，所以上下文窗口是：“turning”、”i ...

去年冬季学习了cs224n的2017课程，做了三个assignments，用的是TensorFlow。今年cs224n再次放课，一共有5个assignments，使用PyTorch，主讲还是Manning，特别喜欢这个老师，讲课生动有趣还挺可爱的哈哈哈~~ Assignment1(点击下载) 的任务是探索词向量。以基于计数的共现矩阵和基于预测的word2vec两种方式，计算词的相似度，研究近义词、反义词等等性质，从代码层面来理解它们，有更深刻的记忆。 作业是ipynb文件，所以要用jupyter打开，可以参 ...

问题今天刚申请了一个服务器账号，登上去发现没有zsh。 因为没有root权限，也就无法使用apt-get命令了。 解决思路如下： 编译、安装zsh到家目录 （make 时可能找不到 autoconf ） 把安装好的zsh所在的目录添加到 PATH 环境变量中 登录后自动切换到 zsh 安装oh-my-zsh （不需要root） 下面是详细过程和遇到的问题及解决方法 安装zsh官方文档：http://zsh.sourceforge.net/FAQ/zshfaq01.html 下载源码： 1wget -O ...

感知机感知机（perceptron）于1957年由Rosenblatt提出，是一种二分类线性模型。感知机以样本特征向量作为输入，输出为预测类别，取正、负两类。感知机最终学习到的是将输入空间（特征空间）划分为正、负两类的分离超平面，属于判别模型。为此，使用误分类作为损失函数，利用梯度下降优化该函数，可求得感知机模型。感知机是神经网络与支持向量机的基础。 单层感知机 第 ${i}$ 个样本的预测值 $\hat{y_i} = f(\vec{w} \cdot \vec{x_i} + b)$ ，其中 $f(\cdot ...

前言这一次的总结内容范围比较广，主要对代码管理到系统发布、系统维护和其中中可能会出现的一些安全问题进行总结。 代码管理工具和代码托管平台在一个项目开始之前，首先要选择一款代码管理工具，目前流行是 GIT 和 SVN ，如果没有历史问题，建议都使用 GIT 进行代码管理。 选好了管理工具后，需要选择托管平台，目前国内有 码云 、Coding.net 等，国外有 GitHub 、GitLab 。需要注意的是代码仓库的私有性， GitHub 的私有项目是需要收费的。我个人喜欢把私有项目托管在 码云，把公开项目托管 ...

前言数据也是Web应用最重要的部分，而数据库恰好也是Web应用最容易出瓶颈的地方。经过几年的学习、实践我逐渐总结出了一套自己的数据库设计、实践原则，有一些是参考企业的，同时自己的优化方法也在里面。 选择合适的数据库Mysql是目前的主流数据库之一，几乎可以承担起所有Web站点的数据处理操作（通过集群、主从等优化手段）。 大型应用会使用Oracel作为数据库（比如银行、证券、电信）。 另外值得一提的是NOSQL，由于它的灵活性高于关系型数据库，所以常用于作为缓存系统，如MemCache、Redis。 目前JS ...