记 CIPS 青工委武汉大学系列讲座

发表于 更新于 分类于 阅读次数：

趁着余兴未尽，来将今天早上参加的讲座记录一下。很幸运周四在教学楼下看到了这次活动的海报。本次系列讲座是 CIPS 青工委（中国中文信息学会青年工作委员会）在武汉大学的一次活动，主持人是武大的李晨亮老师，嘉宾包括清华的刘洋老师、刘知远老师、张敏老师，天津大学的张鹏老师和北大的严睿老师。五名老师在其所关注的细分领域各有建树，全是自然语言处理和信息检索领域的大牛。接下来以老师报告的顺序大概介绍一下各位老师的报告内容，和我对各位老师的感受。因为我忘记带拍照用的手机了，因此没有照片，而且笔记也不完整，部分理解可能有偏差，尽请见谅。

2018.04.03 更新：更新上周五中科院自动化所刘康老师的讲座笔记。

刘洋《基于深度学习的机器翻译》

首先是委员会主任刘洋老师的报告。PPT 与他主页上 Advances in Neural Machne Translation 的内容有 70% 是一致的，可以据此了解一下。

刘洋老师主要介绍了机器翻译的发展，从规则机器翻译 -> 统计机器翻译 -> 神经机器翻译，人们关注的重点也从规则到特征，最后变到架构。他认为神经机器翻译的可研究方向还包括架构学习（让机器学习架构来得到表现更好的，而非人类手工调整）、先验知识融合、单词学习、高效算法、可解释性等等。

总体来说，刘洋老师的报告是五场报告中最容易理解的，他在其中加入了很多例子帮助理解，而非一味堆积 paper 成果。

有观众提出问题，认为目前的机器翻译还缺少和人的感觉相配的评价指标。例如，如果机器将人名翻译错误，相似度降低很少，但是用户的使用体验就很差。另外，机器翻译用于商业时达成度不够。刘洋老师也认同目前存在这问题。

刘洋老师真人比主页上的照片看起来帅一些，年轻一些。另外，坐在我前面一排的小朋友应该是刘洋老师的儿子，整个讲座过程中都非常安静，很难得，也显出刘洋老师家教有方。

严睿《人工智能在人机对话系统中的技术现状与挑战》

严睿老师主要介绍了人机对话的一些现状，包括：

  • 分类：

    • 按领域：开放领域 / 垂直领域：医疗、金融、法律…
    • 按回复方式：检索式（目前业界主流） / 生成式（下一代潮流：深度学习加持） / 综合式
    • 主动 / 被动
    • …

  • 算法：

    • 上下文信息
    • 知识库信息（世界知识）
    • 语意逻辑信息

  • 挑战：

    • 源自人类认知直觉的剖析
    • 相关性、趣味性、信息量、情感化

另外，介绍了较多的 paper 的工作。

严睿老师语速比较快，给我的感觉是思路很活跃。另外，讲完后不久他就离场了，不知道是不是去看樱花去了，哈哈。

张敏《用户满意的异质可解释的推荐：THUIR工作进展》

张敏老师主要介绍了自己所在的 THUIR 研究组对于推荐系统的一些工作，包括：

  1. 可解释推荐。
  2. 时间对推荐的影响（也算是可解释性）：ARIMA 时间序列模型。
  3. 社会关系对推荐的影响（抑制的信息）：不认识不代表负类，而是在之后会认识的概率上在进行标识。并且也使用了迁移学习。
  4. 用户满意度：多样性 vs 满意度。
  5. 用户理解：群体推荐的公平性和满意度。

张敏老师的工作应该是五场报告中我最感兴趣的。活动后我斗胆去询问她是否还有学硕或者直博的名额，可惜她的名额已经满了（抢手到可怕），让我给她发邮件看研究组里另外两位老师是否还有名额。（更新：张老师课题组名额全满了）

张鹏《量子力学启发的信息检索和自然语言处理》

张鹏老师研究的问题比较新颖，将深度学习和量子计算结合起来。他所在的 TJU’s Quantum IR/NLP group 应该在这方面做了不少工作，但是我们可能就对这个方向不是很了解了。讲着讲着薛定谔的猫也出来了，有点懵…唯一一个报告完后没有学生提问的。老师人还是很和蔼的。

刘知远《知识表示学习及其应用》

最后是知乎网红刘知远老师。PPT 和他主页上的社会计算与表示学习 前一半内容基本相同，后一半是介绍自己的近期工作。

刘老师首先介绍了知识图谱实体与关系。知识图谱的典型表示方案是基于符号表示的三元组（RDF），但是无法有效计算实体间的语义关系，解决方案是将知识映射到低维向量空间。

之后，介绍了 TransE：将关系表示为从 head 到 tail 的翻译操作，和融合文本和知识进行关系抽取等。具体内容可以看 PPT，个人水平有限，难以总结。

老师目前主要关注大规模知识图谱的应用，包括关系抽取、实体对齐（不同领域的知识图谱的结合）、实体分类等。介绍了开源平台：http://openke.thunlp.org/。顺便一提，刘老师凌晨两点发了一条微博，表示整理了自己的一些工作，开源了相关代码，赞！

未来工作方向：

  • 利用表示学习技术将知识图谱用于相关领域（信息检索、推荐系统）
  • 利用表示学习技术改进知识获取能力（富语境信息抽取、开放关系抽取、开放事件抽取）

刘知远老师在知乎上对于学术科研写了不少回答，对我很有帮助。个人关注了他的微博和知乎。不过现场感觉刘老师比知乎上给人的感觉要更有威慑力一些…

刘康《基于弱标注的大规模知识抽取》

在第一次讲座后一周，中科院自动化所的刘康老师也来到武大，对知识抽取的现状以及研究组在这方面的工作进行了介绍。以下是一个比较抽象的笔记：

非结构化文本 => 知识

知识图谱类型：

  1. 实体 - 实体(三元组) 头实体-关系-尾实体
  2. 事件为中心：可能有一个事件和多个实体

构建知识图谱：

  • 关系抽取 / 事件抽取：动词作为触发词 挑战：开放的关系
    1. 在一句话中确定两个实体的关系（和分类任务相似）
    2. 不给定具体上下文，要求一对实体的关系（方法：在文本中回标）

特征表示：

  • 用 DL（CNN）
  • 刘老师的工作：
    • Position Embeddings：记录实体的相对位置
    • Dynamic Multi-Pooling and Piece-wise MaxPooling：每一段做一个最大池化

自动标注大量训练数据：

  • 回标：将已找到的实体三元组在文本中回找，所有对应的语句都可以当作正样本 => 问题：关系可能不一样
  • 以上策略不能用于以事件为中心的知识：找不到事件所具体对应的字符串
  • 动词作为触发词，找其他实体 => 问题：在一句话中不会有全部的实体 => 找关键的 arguments（实体） => 如何找 key arguments？TF-IDF、相似度…

训练策略：如何减少噪声的影响？

  • Multi-Instance Learning
  • Attention
  • transE：三元组中，实体为点，关系为向量

最新的工作：强化学习

落地：从金融、法律公告中抽取结构化的知识

  • 文本分类（分析具体是哪种类型的事件 -> Event Identification -> 没记下来…

老师展示了一个根据以上想法已经成型的 Web 应用。

总体感受

各位老师都介绍了各自研究的领域、面临的问题以及目前的一些工作，让我能够在走上学术之路前能够充分了解自然语言处理和信息检索的一些研究方向，对我有很大的启发。

现场的人数还是比较多的，临时换了一个更大的教室。刘知远老师报告时统计了一下在场的本科生，包括我在内的大约 10 人。让我没有想到的是，在场很多的研究生确实对不同老师的方向各有见解，提出了比较有深度的问题。武大啥时候冒出这么多自然语言处理方向的研究生啊，以前完全不知道，原来计院卧虎藏龙。

也不知道该怎么结束这篇博文了。给大家欣赏一下我下午摄影实习照的樱花好了。