一问搞懂词向量

词向量

将数据从高维空间向低维空间映射，虽然降维了，但是包含语意信息

word2vec

两种网络结构：

• CBOW：输入$w_t$周边，得到$w_t$
• Skip-gram：输入$w_t$，得到其周边

优化方式

• 负采样
• 层次softmax

FastText

TextCNN

transfromer论文笔记

LeetCode常见题型及对应解法

技巧类

矩阵数据旋转

48. 旋转图像

给定一个 n × n 的二维矩阵 matrix 表示一个图像。请你将图像顺时针旋转 90 度。

你必须在 原地 旋转图像，这意味着你需要直接修改输入的二维矩阵。请不要 使用另一个矩阵来旋转图像。

示例 1：

1
2

输入：matrix = [[1,2,3],[4,5,6],[7,8,9]]
输出：[[7,4,1],[8,5,2],[9,6,3]]

本文提出贡献：

• 提出了一个交叉网络，能够在每一层直接进行特征交叉，不需要手工特征
• 交叉网络简单并且有效，可以通过增加交叉网络层数来提升特征的交叉阶数。
• 交叉网络比较省内存并且易于扩展

交叉网络计算公式

优点像残差网络

其中$x_0$为cross net第一层的输入，其维度为(k, 1)，$x_l^t$的维度为(1,k)

FM

• 在传统任务中LR存在的缺点：

1、模型一般为$y=w_0+\sum_{i=1}^nw_ix_i$，为考虑特征之间的关系。实际上交叉特征对于模型有很好地提升效果

2、对于categorical特征进行one-hot编码，具有高度稀疏性，带来维度灾难

二阶FM的定义

wide 模型

基本特征+交叉特征，年龄特征分桶

Deep模型

基本特征+embedding特征

Wide Deep模型

get_layer. output和get_layer的区别

需要自己记一下

NDCG@K

CG只能判断推荐结果整体质量的高低，无法判断算法的排序好坏。

第一步计算DCG

思想是等级较高的结果排在后面，就应该对结果得分打折。

$DCG_p$还有另外一个中写法