topbookcc's Blog

To be or not to be

0%

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 4.6k 阅读时长 ≈ 4 分钟

记录近年来对于异构信息网络的一些处理

  • PathSim
  • HGNN
  • HGAN
  • HGAN for text classification
  • 带属性，Attributed Multiplex Heterogeneous Network
  • Meta-graph Guided Random Walks
  • TBD
阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 7.3k 阅读时长 ≈ 7 分钟

基于图的自动摘要相关论文选读

  • AMR 生成式摘要
  • AMR 多文档摘要两篇
  • pagerank in encoder attention
  • 基于主题建模构建图，使用ILP做抽取式摘要
  • 基于GCN的多文档抽取式摘要
  • STRUCTURED NEURAL SUMMARIZATION
阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 6.9k 阅读时长 ≈ 6 分钟

ACL/NAACL 2019 自动摘要相关论文选读

  • DPPs 相似度度量改进
  • STRASS：抽取式摘要的反向传播
  • 先翻译再生成摘要
  • 阅读理解+自动摘要
  • BiSET：Retrieve + Fast Rerank + Selective Encoding + Template Based
阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 5.1k 阅读时长 ≈ 5 分钟

今天阅读一篇来自清华和阿里巴巴团队的关于机器阅读理解方面的论文，Cognitive Graph for Multi-Hop Reading Comprehension at Scale。这篇论文同样中了ACL2019，但我没有将其放进ACL2019论文阅读的博文里，因为感觉这篇值得专门讲讲，虽然没有拿到优秀论文或者杰出论文，甚至提名都没有，但这篇论文的思路、方法论都非常好，用一种最简单的方式实现联结主义+知识推理。

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 8.3k 阅读时长 ≈ 8 分钟

ACL 2019获奖论文选读。

  • 利用oracle来做句子级别的teacher forcing
  • speaker commitment
  • 适用于摘要的一套评价指标框架，结合了多个指标
  • Zero-Shot Entity Linking
阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 4.9k 阅读时长 ≈ 4 分钟
阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 3.5k 阅读时长 ≈ 3 分钟
  • 记录一下Glove词向量的数学推导，因为原论文不是画模型得出的，而是纯数学操作计算得到的目标函数，这种设计方式非常有意思，而且还将word2vec的数学本质写出来进行了对比。
  • 原论文：GloVe: Global Vectors for Word Representation
阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 37k 阅读时长 ≈ 33 分钟

计算语言学课程笔记
参考教材：Speech and Language Processing：An Introduction to Natural Language Processing,Computational Linguistics, and Speech Recognition
一些公式待修订

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 3.9k 阅读时长 ≈ 4 分钟

翻译John Mount的The equivalence of logistic regression and maximum entropy models 一文，并说明了这种证明是在统计学习方法中介绍最大熵模型的通用导出证明的一个特例

结论

  • 最大熵模型就是softmax分类
  • 在满足广义线性模型的平衡条件下，满足最大熵条件的模型映射函数就是softmax函数
  • 在统计机器学习方法一书中，给出了在特征函数定义下的最大熵模型，其与softmax回归都属于对数线性模型
  • 当特征函数从二值函数扩展为特征值本身时，最大熵模型就化为softmax回归模型
  • 最大熵最大化的是条件熵，不是条件概率的熵，也不是联合概率的熵。
阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 2.4k 阅读时长 ≈ 2 分钟

去清华的FIT听了一次轻沙龙，介绍了关于机器阅读理解的一些进展，有趣的是上午九点演讲的博士还说有一个还没公开的工作：BERT，很牛逼，很有钱，八块p100训一年，结果十点半机器之心就发了报道，下午就知乎满天飞了，说NLP新的时代到来了…
这个沙龙是一个系列，之后可能会有机器翻译、深度贝叶斯、迁移学习和知识图谱啥的，要是有时间的话再听再记录吧

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 12k 阅读时长 ≈ 11 分钟

Deep-Bayes 2018 Summer Camp的习题
填不动了，就到这吧

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 17k 阅读时长 ≈ 15 分钟

记录Variational Inference、Expectation Maximization、Markov Chain Monte Carlo等用于概率机器学习中未知变量推断的算法的原理、推导。
很多内容和推导、图片来自悉尼科技大学徐亦达教授的在线课程及其讲义，徐老师讲非参贝叶斯的一系列视频非常好，可以直接在b站或者优酷搜索他的名字找到视频。
徐老师的课程讲义地址：roboticcam/machine-learning-notes，如果不额外说明，一些截图和代码均来自徐老师的讲义。
其他一些内容来自各种书或者tutorial，引用出处我会在文中说明。

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 478 阅读时长 ≈ 1 分钟

把统计学习方法十大算法精简了一些手写了出来（虽然我觉得书本身已经很精简了）
现在只有算法本身的流程，以后如果有什么新的理解再补充
字太丑，自己都看不下去，发上来纯粹做个备份

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 24k 阅读时长 ≈ 22 分钟

Latent Dirichlet Allocation 文档主题生成模型学习笔记
本文主要归纳自《LDA数学八卦》，原文写的非常精彩（建议先阅读原文），有许多抛砖引玉之处，本文梳理了其一步一步推出LDA的脉络，删除了不相关的一些扩展，比较大白话的总结一下LDA。

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 6k 阅读时长 ≈ 5 分钟
  • 分散注意力机制
  • 外部信息注意力
  • 指针复制网络PGNet
  • 基于RNN的抽取式摘要
  • Transformer
  • 选择门机制
阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 9k 阅读时长 ≈ 8 分钟
  • attention开山作（机器翻译）
  • Luong attention，全局与局部注意力、
  • attention开山作（自动文摘）
  • 生成式摘要技巧集合：LVT，开关网络，层次注意力
  • 对话系统，端到端的层次RNN
  • 微博摘要，补充micropoints
  • disan，有向的transformer，注意力掩码
  • 注意力抽取器
  • 基于强化学习的生成式摘要
  • w2v，负采样
阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 2.9k 阅读时长 ≈ 3 分钟
  • 大创项目的服务器端，大创以及客户端介绍见Melodia客户端
  • 我们大创项目的服务器承担的功能比较少，只与android设备收发文件，用Python写了一个简单的服务器端
阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 1k 阅读时长 ≈ 1 分钟

在Python中有字典这一数据结构，因此用Python实现字典树很方便

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 2.1k 阅读时长 ≈ 2 分钟

Python的一些特性和语法
总结一些自己跳过的坑
Python3.5

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 5.4k 阅读时长 ≈ 5 分钟

算法刷题目录，方便自己查找回忆复习
之后(2018.9.27)只更新leetcode上的题了，也懒得整理源码了，leetcode上都存了，只记录思路吧

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 3.2k 阅读时长 ≈ 3 分钟

介绍拉格朗日乘子法及其推广KKT条件，以及它们在PCA和SVM中的应用

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 4.2k 阅读时长 ≈ 4 分钟
  • 以简单的Iris数据集做测试，实现了K-means++聚类算法，并与sklearn中自带的KNN算法进行比较
  • 标题本来是K-Means&KNN，把&改成了和，因为标题中出现特殊符号&会导致我的sitemap生成错误…
阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 13k 阅读时长 ≈ 12 分钟

学校大创项目简单的app
实现功能，录制声音存为wav，利用json与服务器通信，上传wav到服务器，服务器转为midi文件，从服务器下载midi和乐谱并播放，同时电子琴改装后也可以与服务器通信，由手机给电子琴辅助参数，电子琴通过arduino从服务器上读取乐曲中间键值文件播放。

阅读全文 »