思维之海

——在云端,寻找我的星匙。

NLP基础入门(智源&学堂班)

学堂在线组织的自然语言处理入门班。

感觉自己一直在入门,从未系统地学习过NLP。不如趁此机会,加上那个中医药的比赛,重重DDL的促使下,也许会真的开始做一些事情吧。hhh

自然语言处理是人工智能皇冠上的明珠。

References

学堂在线 - 理论和实践:自然语言处理

课表:

绪论:NLP基本问题和研究范式

什么是自然语言?人类语言。

什么是自然语言处理?让计算机能够处理并理解自然语言。

语言和人类智能:

  • 感知:人类感官模态系统(五官)
  • 认知:语言、逻辑、推理、思维、学习、决策……

自然语言处理的经典应用:

  • 信息检索、抽取、过滤、分类及摘要,搜索引擎,数字图书馆,电子商务等

例:

  • 和服 | | 于三日后裁制完毕。
  • 这个酒店的设施 | | 服务 | 是一流的。

搜索引擎,机器翻译,跨语言信息检索,问答系统,面向语音识别的语言模型,用于OCR的语言模型,用于TTS(text2speech)的语言模型,语法改错,简繁汉字转换……


NLP顶会:ACL,EMNLP,北美ACL


语音层和音位层(Phonetic and phonological level)

词法层(Morphological level)

语素:自由语素、约束语素(词缀)

构词法:加缀(派生、曲折);复合

句法层(Syntactic level)

语义层(Semantic level)

话语层(Discourse level)

语用层(Pragmatic level)

语言知识、世界知识(+常识知识)


自然语言的特点:

  • 结构性
  • 无限性(递归性)
  • 歧义性(ambiguity)
    • 词汇歧义
    • 结构歧义
  • 统计性(Markov链)
  • 模糊性
  • 文化差异性
  • 持续演化性
  • 语言表达的非规范性

词法及语言模型

句法分析

作业一 word2vec