tokenembedding、tokenembedding的作用

1、#8195#8195Token Embedding 是对词向量进行编码原始的输入是batch，seq_len经过 Token Embedding 后数据的维度为batch，seq_len，d_model#8195#8195在BERT中Token Embedding的内部计算流程是初始化一个。

2、ALBERT认为，token embedding是没有上下文依赖的表述，而隐藏层的输出值不仅包括了词本身的意思还包括一些上下文信息，因此应该让HE，所以ALBERT的词向量的维度是小于encoder输出值维度的在NLP任务中，通常词典都会很大，embedding matrix的大小。

3、CONTAINER试图减少对相似实体的token embedding的距离，同时增加对不同实体的token embedding的距离图1 这使得CONTAINER能够更好地捕获标签依赖关系此外，由于CONTAINER是用一个广义目标进行训练的，因此它可以有效地避免先前的方法打O的缺。

4、Token Embedding 就是正常的词向量，即 PyTorch 中的 nnEmbedding Segment Embedding 的作用是用 embedding 的信息让模型 分开上下句 ，我们给上句的 token 全 0，下句的 token 全 1，让模型得以判断上下句的起止位置，例如 Positio。

5、bert的词嵌入由三个嵌入token embeddingsegment embedding，和position embedding叠加而成 这个过程跟以往的RNNs没什么区别，比如给定一个句子 第一步是先将其标记化 然后是数字化，将每个标记映射到语料词汇表中的唯一整数编号 接下。

6、模型输入 文本序列，在起始处添加 SOS 标记，结尾处添加 EOS 标记EOS一方面可以作为NLU任务中的边界标识，另一方面还能在NLG任务中让模型学到何时终止解码过程其输入表征方式与Bert的一样，包括 token embedding。

7、引入Position Embedding主要是为了弥补Transformer模型对位置信息的不足，将Position Embedding与token Embedding相加后，即可保留各个token的位置信息论文作者提出了两种添加位置信息的的方法 一种方法是直接用不同频率的正余弦。

8、Embedding layerEL的作用是将句子树转换成嵌入表达和BERT一样，KBERT的嵌入表示包括三部分token embedding， position embedding 和 segment embedding 关键是如何将句子树转换成一个序列，同时保留它的结构信息这种。

9、它是基于RNN的预训练模型，它只需要搜集大量语料句子且不需要做任何标注，就可以训练这个基于RNN的语言模型，预测下一个token是什么，学习完了之后就得到了上下文的embedding因为我们可以将RNN的隐藏层中的某一节点拿出来图中橙蓝色节点。

10、这个框架由一系列单元组成，每层对应于标签层次结构中的一级，信息从上层逐层传递，通过Attention机制，将当前层的Label Embedding与token特征紧密融合，进行精准预测HAF的设计旨在解决标签嵌入生成注意力机制设计和层次预测等。