第三季6场 AI ML Club 活动纪要

less than 1 minute read

« 本次沙龙通知: #325 «

第三季6场 AMC 沙龙活动纪要

本届沙龙内容（按发言顺序，由主席指定顺序）

范弘炜 @hwfan

度量学习：监督与非监督监督学习 ArcFace 比 TripletLoss 的优势在于模长的归一化实验结果表明这样做对精度是有提升的，一个分析是可以避免由于模长过大带来的 target logit 值的不均匀分布,结束了 LFW 比赛 MegaFace 得分很高，也几乎终结了比赛非监督学习 ECN 现有的数据集在量级上非常 Naïve，因此需要通过相对多的有标记数据辅助少的无标记数据学习无监督的典型方法类似于聚类 Exemplar Neighbor→聚类 Cam→跨摄像头际上是两个学习途径同时进行实验结果达到了无监督 ReID 的 SOTA

ArcFace: Additive Angular Margin Loss for Deep Face Recognition and Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification GitHub insightface GitHub ECN
侯正罡 @ArronHZG

语义分割中的 Attention 机制一作李夏，北大林宙辰组，本科北邮 Attention 机制的分析：实际上是自相关，通过自相关对信息进行加权，关心自相关程度更大的信息。外壳结构类似于 Bottleneck。参数学习：EM 算法，提取特征的部分已经 pretrained 过，本质上是一个 Post-processing 的过程。通过实验表明了学习得到的基向量具有代表性，数量少，且互不相似，对语义分割的去噪有明显的帮助。传统方法与 DL 结合的一个案例。

Expectation Maximization Attention Networks for Semantic Segmentation Github

刘云 @fuyunfuyun666

多模态问题的通用结构 2 3 5 层解决不同问题，每层是一个类 Res-Block 结构，表示从低级语义到高级语义。通过实验探究了联合学习时几层 Res-Block 对问题最有帮助。但实验性过强，并没有解释结果在不同问题的语义高低方面的启示（数据处理原理，越到高层互信息越少），略显遗憾。

Multi-task Learning of Hierarchical Vision-Language Representation
李卓桓 @huan

TPU 的应用案例: 使用 TPU 训练 TensorFlow 模型（Huan），帮助快速进行大规模训练可能可以申请到2500刀的资源。
张璐 @23LuZ

语言中的注意力机制 Encoder-Decoder 结构 Local/Global/Global-Local 三种分类

Neural Responding Machine for Short-Text Conversation