这篇文章总计了从12年到17年计算机视觉在学术界的发展脉络。就现在来说，工业界只有这两项技术在大规模落地，所以很有必要总结一下其发展历程，期望可以管中窥豹，可见一斑的作用。

图文匹配以及图像的QA是图像与文本多模态融合的前沿领域。前者需要将图像与文本都映射到一个相同的语义空间，然后通过距离对他们的相似度进行判断；后者则要解决的是在所有的候选集中寻找到合适的答案，其核心思想是让图像的Attention的位置随着问题进行变化。

DSSM这篇论文是在13年被首次提出，14，15经过两年的发展，分别演化出了基于卷积网络的C-DSSM(Convolutional DSSM)、基于循环神经网络的R-DSSM(Recurrent DSSM)、针对不同信息来源的MV-DSSM(Multi-View DSSM)、最后还有一个专门针对Caption的DMSM(Deep Multimodal Similarity Model)。 阅读全文

python不支持多线程（伪多线程，虽然启动multi-thread，但是所有启用线程的处理能力加起来等于一个核的处理能力），多进程如果是任务可分，不用和主线程交互的情况下是可用的，但是对于tensorflow的训练来说，肯定需要使用多（线程、进程）与主（线程、进程）交互。Tensorflow使用黑箱的方式为数据的解析提供支持，相比于自己写multi-process然后共享变量来说在代码实现 ...

如果弄过机器学习或者数据挖掘等，相信大家对l1,l2正则化一定不会陌生，l1正则的特点是可以在一定程度上使学习出来的参数趋向于0，l2正则在一定程度上可以防止过拟合。所以很多人使用l1正则使学习出来的模型尽量稀疏，但是学习出来的稀疏模型，并不能对模型进行很好的加速，因为为0的参数太过均匀，不能批量的规避掉运算，这篇论文就是解决这种为0参数分布不均的情况。