Emoji Representation 资料整理

Literature Review

Emoji（表情图标）是使用在网页和聊天中的形意符号，最初是日本在无线通信中所使用的视觉情感符号，如今在社交媒体上的应用十分广泛。在Unicode 9.0 用22区块中共计 1126 个字符表示表情符号，其中 1085 个是独立表情符号字符，26个是用来显示旗帜的区域指示符号以及 12 个(#, * and 0-9)键帽符号。

我们关注 emoji 在社交媒体中的应用。用户在tweet、发动态等过程中，常常在文字里伴随着一个或多个 emoji，它们的作用可以是增强语气，也可以是产生 irony、sarcasm 的效果，含义十分丰富 (Singh et al., 2022)。正因为 emoji 似图片而非图片、又与文字不同，还在 online communication 和 social media 情景中应用广泛并有很大影响，所以 Cappallo et al. (2019) 认为 emoji 应该被认为是 image 和 text 之外的新一种模态（new modality）。

与 emoji 相关的常见NLP任务有 emoji prediction、sentiment analysis，不管是根据给定的一段文字预测或推荐 emoji，或是用 emoji 信息辅助分析情感语义，对于很多自然语言理解（NLU）任务都有很大帮助 (Ma et al., 2020)，是十分有意义的。接下来我们主要梳理 emoji prediction 任务在近年来的发展，总结学者们所使用的模型及其特点。

不管是什么样的下游任务，对 emoji 的表示学习都特别重要。Eisner et al. (2016) 提出 emoji2vec 模型，仅使用 emoji 的定义和描述来训练模型，无需上下文信息，得到所有 Unicode emoji 的 embedding，开启了对 emoji 表示学习研究的先河。Felbo et al. (2017) 使用约 1.2 billion tweets 的超大训练集来训练带有 attention 机制的双向 LSTM 模型，即有名的 DeepMoji 模型，得到相当不错的效果，往往被作为后续模型的 baseline。将一句话输入 DeepMoji 模型，将输出一系列带有可能性评分的候选表情，如下图所示。注意到它已经能够分辨俚语、相似两句话的不同含义，通过预测不同的表情而表现出来。

SemEval 2018 Task 2 是进行英语和西语的 multilingual emoji prediction，这个 Workshop 中有一大批文章使用这一双语 single-label 数据集进行预测。Coltekin and Rana (2018) 验证SVM模型在这一任务中的表现优于RNN；Liu (2018) 使用 Gradient Boosting Regression Tree 和双向 LSTM 进行预测；还有使用 residual CNN-LSTM with attention 框架的 (Wu et al., 2018)。

除此之外，emoji prediction 任务还有很多扩展。例如在信息发送时的 emoji 推荐 (Guibon et al., 2018)；emoji 意义消歧 (Wijeratne et al., 2017)；生成 emotional response 的 MojiTalk 模型 (Zhou and Wang, 2017)；irony detection (Chaudhary et al., 2019)；融合 image 和 text 信息进行 multimodal emoji prediction (Barbieri et al., 2018) 等。

由于 emoji 在不同语境下有丰富的含义，同时社交媒体的用户往往会用多个 emoji 表达情绪，所以近来很多研究逐渐关注 multilabel emoji prediction。Ma et al. (2020) 微调预训练的基于 Transformer 的模型来进行 multilabel emoji prediction，他们的另一个工作是使用 BERT 模型 predicting aspect level emojis for different classes (Ma et al., 2020)。而最新的 multilabel emoji prediction 进展是 Singh et al. (2022) 的研究，文章中使用 BERT 和 GAT 合并的模型进行预测，达到 SOTA 的效果。

References

Singh, G. V., Firdaus, M., Ekbal, A., & Bhattacharyya, P. (2022). Unity in Diversity: Multilabel Emoji Identification in Tweets. IEEE Transactions on Computational Social Systems.

Cappallo, S., Svetlichnaya, S., Garrigues, P., Mensink, T., & Snoek, C. G. (2018). New modality: Emoji challenges in prediction, anticipation, and retrieval. IEEE Transactions on Multimedia, 21 (2), 402-415.

Ma, W., Liu, R., Wang, L., & Vosoughi, S. (2020). Emoji prediction: Extensions and benchmarking. arXiv preprint arXiv:2007.07389.

Ma, W., Liu, R., Wang, L., & Vosoughi, S. (2020, November). Multi-resolution annotations for emoji prediction. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) (pp. 6684-6694).

Eisner, B., Rocktäschel, T., Augenstein, I., Bošnjak, M., & Riedel, S. (2016). emoji2vec: Learning emoji representations from their description. arXiv preprint arXiv:1609.08359.

Felbo, B., Mislove, A., Søgaard, A., Rahwan, I., & Lehmann, S. (2017). Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm. arXiv preprint arXiv:1708.00524.

Çöltekin, Ç., & Rama, T. (2018, June). Tübingen-oslo at SemEval-2018 task 2: SVMs perform better than RNNs in emoji prediction. In Proceedings of The 12th International Workshop on Semantic Evaluation (pp. 34-38).

Liu, M. (2018, June). Emonlp at semeval-2018 task 2: English emoji prediction with gradient boosting regression tree method and bidirectional lstm. In Proceedings of The 12th International Workshop on Semantic Evaluation (pp. 390-394).

Wu, C., Wu, F., Wu, S., Yuan, Z., Liu, J., & Huang, Y. (2018, June). THU_NGN at SemEval-2018 task 2: Residual CNN-LSTM network with attention for English emoji prediction. In Proceedings of The 12th International Workshop on Semantic Evaluation (pp. 410-414).

Guibon, G., Ochs, M., & Bellot, P. (2018, April). Emoji recommendation in private instant messages. In Proceedings of the 33rd annual acm symposium on applied computing (pp. 1821-1823).

Wijeratne, S., Balasuriya, L., Sheth, A., & Doran, D. (2017, May). Emojinet: An open service and api for emoji sense discovery. In Proceedings of the International AAAI Conference on Web and Social Media (Vol. 11, No. 1, pp. 437-446).

Zhou, X., & Wang, W. Y. (2017). Mojitalk: Generating emotional responses at scale. arXiv preprint arXiv:1711.04090.

Chaudhary, A., Hayati, S. A., Otani, N., & Black, A. W. (2019). What A Sunny Day: toward emoji sensitive irony detection. W-NUT 2019, 212.

Barbieri, F., Ballesteros, M., Ronzano, F., & Saggion, H. (2018). Multimodal emoji prediction. arXiv preprint arXiv:1803.02392.