Bert 1. Seq2Seq 机器翻译、语音翻译、对话翻译、对话、QA、句法树（括号对齐）、多分类问题、图像识别、词向量 位置编码：有些词出现的位置是有规律了，所以位置是非常重要的 Bert与CBOW的差异 BERT相比CBOW更复杂 语义对齐 2. Multimodal 视觉信息和文字信息理解不同 对于同一个事物，我们有多种模态来表示
