本文提出了一种自适应模态混合机制，可以根据要学习的新图像类别自适应地组合来自视觉和语言两种模态的信息，比模态对齐方法更适用于小样本学习。
作为第一篇研究用于图像检索的图像与文本特征组合问题的论文，本文提出一种采用门控机制和残差连接的特征组合方式，确保修改后的特征处于目标图像特征处在相同空间中，并通过度量学习的方式达到 SOTA。
这周末就是博士生开学典礼了，对自己的近况进行一个简单的介绍与总结。
这一学年的显式收获是一篇 CIKM 2019 的 short paper。在经过 IJCAI 以一个大概 borderline 的分数被拒、拆出一部分当作本科毕设后，这份工作终于可以准备收尾了。同时，我也要去寻找一个能够支撑我整个博士生研究的新方向了。
为什么不再做当前的时间序列分析方向了？简单来说，单纯的时间序列所包含的信息量较少，简单而更具有可解释性的一系列传统方法已经有很好的表现。在这种情况下，使用深度学习来进行预测或者分类不一定能够表现更好，同时还会有解释性差、计算量大等问题。另外一点是，时间序列分析目前确实不是学术界研究热点，它可能更适合有大量可用数据的工业界研究人员进行挖掘来真正创造经济效益，而不适合作为一个只能用着开源数据集、还需要在一个研究领域耕耘至少五年的博士生的选题。
能中论文，当然会陷入短暂的兴奋中。但是收到邮件没过半天，我又回到沮丧的常态中。首先邮件中的评审意见里对这篇论文列举了很多问题，大多数都是我早已心知肚明的：没有在更多更大的公共数据集上进行实验、没有用实验证明我们的方法到底适用于有什么特点的数据、没有展现参数的设置如何影响模型的总体表现，等等。总而言之，没有对论文中提出的每个结论设计缜密的实验来证明。
更为深层的原因是，在这个月里，我渐渐发现这一年我好像并没有什么什么实质的进步。我仍然效率低下、没有做好时间管理、经常废弃既定的学习计划，作息紊乱、无法集中注意力、迷失在杂乱的信息流中，得过且过、不求甚解。看似阅读了很多论文，了解了一个领域，研究出一种方法，发表了一篇会议。实际上每次随便找了两篇论文浅浅看过就开始拿别人的东西堆叠想模型，对整个领域/方向/任务没有将顶会论文全部搜查一遍，对共性问题没有深入思考，甚至连 evaluation metrics 该采用哪些为什么都没有总结和思考过。最终的结果就是，成长速度奇慢。
最后，我在考虑把博客翻修一下。
这是“自动编码器一览”系列的第二篇博文。在本文中，我会介绍一些最近看过并且比较感兴趣的自动编码器的变形，说是介绍，可能更像是论文笔记合集。比起第一篇提到过那些更为通用的经典变形，这些相对而言比较新颖的自动编码器在结构上进行修改，使得它们更符合所对应的特定任务的需求。如果我之后又看到一些有意思的自动编码器，也可能在这篇博文中继续更新。
本文中包含以下内容：
“自动编码器一览”系列：
最近在研究用自动编码器（Autoencoder, AE）做表征学习（Representation Learning），看了一些资料和论文，自己也有一些想法，现在准备开始写 related work，值此机会想要先整理一下。题图来自 THU 唐杰老师的微博，清晰地展现了自动编码器的发展历程。
本系列预计会写三篇博文，第一篇包含自动编码器的总体框架和思想，之后介绍为实现各种目标而产生的一些经典变体，会涵盖题图中提到的大部分自动编码器；第二篇包含一些我个人比较感兴趣、最近看过的一些变形，它们更适用于各自的任务；第三篇可能会拖得稍微久一点，我想把最近非常火热的变分自动编码器以及它的一些变形弄通。
本文中包含以下内容：
“自动编码器一览”系列：
5 月 6 日刚从杭州回到武大准备毕业答辩，得知赫赫有名的杨强老师第二天将来武大，介绍他带领的微众银行人工智能团队在联邦学习上的一些工作和思考。我们实验室的研究方向包括迁移学习的应用，而杨强老师是迁移学习领域的领头人，因此一定是要前往聆听的。老师的讲座内容没有很多算法模型上的硬核知识，但也非常有宏观上的启发性。下面，我基于讲座的内容笔记及个人思考做一个整理。
一直以来感觉自己对 LSTM 的理解缺了点什么。这次看到一篇不错的博客 Understanding LSTM Networks，对 LSTM 的机制和公式有逐条的解释。正好最近手头的工作也和门机制有一定联系，因此决定翻译一下，帮助自己理解和记忆公式。主要靠意译，省略了一点无关紧要的内容，有条件可以自己看看原文。
在保研尘埃落地、回学校参加院队热身赛结果弄伤膝盖、从十一假期养到现在，终于提笔开始写这一篇博客。现在已经是十月中旬，开学都已经一个半月了，但对我来说，大四似乎才刚刚开始。且简单地和大家分享一下我保研的结果和做出决定的一些想法，也给自己即将面临的新挑战打个气。