思维之海

——在云端,寻找我的星匙。

学术探知

研究生不可避免地需要开始对文献,一个高效的文献管理,好比是论文界的数据库。但在正式开始读论文之前,对学术界的一个整体性的了解,也是比较重要的。甚至,有必要为自己留下一些后路,在学术道路上走得不顺时,以更好的心态来从事其它的路。但是足够的坚持力也应该作为一种精神,在科研中陪伴自己的根本上只有对智慧表现的渴望,在不断扩展边界中获得幸福。

References

论文写作初级调研 对论文写作的一些基本知识的笔记

看一些文献综述survey来了解一些领域的现状和前沿。

搜:领域 + survey(包括中文的学报上的综述文章)

会议

顶级会议及期刊

机器学习各领域顶会和实验室

初学者如何查阅自然语言处理学术资料(2016修订版)

清华大学计算机学科推荐学术会议和期刊列表 (TH-CPL)

ICML

NeurIPS

IJCAI

IJCAI(International Joint Conference on Artificial Intelligence)

AAAI

AAAI(AAAI Annual Conference)

ICCV

CVPR

KDD

数据挖掘领域顶级会议。

ACL

ACL学会网站建立了称作ACL Anthology的页面(URL: ACL Anthology),为其主办的所有国际学术会议论文提供免费下载,甚至也囊括了其他组织主办的学术会议,例如COLING、IJCNLP等。该平台还支持基于Google的全文检索功能,可谓一站在手论文我有。

NAACL 北美

EACL 欧洲

EMNLP

COLING

SIGMOD

SIGCOMM

SIGGRAPH

图形学顶会。

INFOCOM

MOBICOM

MOBIHOC

SIGMETRICS

GLOBECOM

ICNP

期刊

Science

Nature

Nature可能会发布类脑计算方面的突破性工作。

TKDE

TKDE (IEEE Transactions on Knowledge and Data Engineering)。

TKDE期刊在数据挖掘领域还算不错,属于顶级期刊。这里是一篇我读过的TKDE的文章:Here

TKDE期刊的审稿周期较长,一般在3-6个月(中途会有major revision,那时就差不多可以算中了),但是某些也会到1、2年……

JMLR(Journal of Machine Learning Research)

MLJ(Machine Learning)

PAMI(IEEE Trans. on Pattern Recognition and Machine Intelligence)

Artificial Intelligence

JAIR(Journal of Artificial Intelligence Research)

IJCV(International Journal of Computer Vision)

ACM Computing Surveys, IEEE Communications Surveys and Tutorials

Proceedings of the IEEE

Communications of the ACM, IEEE Computer

IEEE Personal Communications, IEEE Communications Magazine, IEEE Network

学者

朱军

朱军

机器学习理论,样本攻防。脑与智能实验室助理主任。在机器学习的课上第一次看见朱军老师,很年轻。朱老师做的是一些关于机器学习基础理论、强化学习、贝叶斯相关的工作,研究方向比较基础化。朱军老师的学术水平是很难直接通过课程上体会到的(受限领域),在问问题和交流的时候才能感觉朱军的学识渊博。

朱军老师跟MSRA的渊源很深(3年),曾获07年微软学者奖学金,他的毕业学生有很多也在MSRA工作。

朱军和胡晓林、苏航老师在一个组。

唐杰

唐杰WeiboAMiner

《高级机器学习》课程主页: https://www.aminer.cn/aml

唐杰:从学生到学者的四个阶段唐杰:学术生涯的核心精神专访

数据挖掘,知识图谱,机器学习理论。计算机系KEG组。研究兴趣主要集中于社会网络分析、数据挖掘、表示学习和知识图谱。唐杰老师常年欢迎访问学生,如果想拿到读博的推荐信至少需要工作9个月。

唐杰老师博士三年级去微软实习,受到李航的一些指引,后转向数据挖掘领域研究。

朱松纯

朱松纯

机器学习理论,计算机视觉。最近回国发展了。现在正在探索通用人工智能(北京通用人工智能研究院),以及人工智能大一统理论。很多人评价朱松纯老师对未来学科发展有较强的预见力。在读了朱松纯的科普文章和博客,对他的认同感更强了。强人工智能是一个非常有价值的研究方向。

20年9月朱松纯选择受聘北大人工智能研究院院长。

刘洋

刘洋Mail

机器翻译,多语言处理。长聘教授,人工智能研究所所长。在一次系微沙龙中听了刘洋老师的科研时间管理。深感“This is the way”。问及对博士生的准入要求,提及:创造性、独立、勤奋。组内对机器学习的要求越来越高。在可解释性方面主要是在末端进行尝试,与朱军老师的模型方法不太一样。

刘洋老师曾就读于中科院计算所NLP组博士,其间个人主页:here

08年 SMT统计方法综述 霍金斯

刘洋 - NMT reading list

机器翻译的挑战:建模、训练、搜索。广义的翻译知识获取

刘知远

刘知远Zhihu

刘知远:博士生的三种境界

知识图谱,表示学习。刘知远老师常年欢迎访问学生,如果想拿到读博的推荐信至少需要工作9个月。目前在做一些法律智能相关的研究。刘知远老师本身每年有1个博士名额,但近年来形成了从组里科研训练1年以上的本科生同学中双向选择博士生的惯例。所以,除非招生制度有变化,否则应该不会通过其他渠道招生了。

刘知远和刘洋老师在同一个组(一个办公室)。

邱锡鹏

邱锡鹏(Zhihu

复旦NLP。

张长水

张长水

智源论坛 | 清华大学张长水:基于小样本学习的计算机视觉应用

模式识别,机器学习。张老师的实验室内做AI各个方向的学生都有,较为自由。主讲研究生课《模式识别》。

龙明盛

龙明盛

迁移学习,机器学习理论。软件学院青年教师。在搜索TKDE时偶然发现。


在迁移学习领域,知乎上还有王晋东:微软亚洲研究院研究员,主攻迁移学习。《迁移学习简明手册》。毕业于中科院计算所。

胡事民

胡事民

图形学。在新生博论上见到胡老师,胡老师的研究课题就具有较为成熟的可视化,令人赞叹。胡老师的研究方向为计算机几何与图形学,不过在目前计算机视觉和计算机图形学日益融合的今天,研究过程中智能技术也会被涉及(例如GAN)。胡老师的讲课水平很高,平易近人,引人入胜。胡事民老师深耕图形学多年,对领域内的学者、研究状态有相当好的把握,桃李满天下。

徐昆

史元春

史元春

人机交互。比较看重同学的兴趣和能力,几乎老师们对申请者的要求都有对他们研究方向的基础知识和前沿进展的了解。

沈向洋

沈向洋

MSRA。在高等研究院的双聘联培博士项目只接受本科直博。

沈向洋博士:三十年科研路,我踩过的那些坑 腾讯X-Lab特邀演讲

戴琼海

戴琼海

自动化系院士。脑与认知实验室。

崔鹏

数据挖掘,因果推断。

刘奕群

信息检索。

黄民烈

智能对话。

唐平中

博弈论,算法经济学,强化学习。叉院。

孙茂松

李涓子

知识工程。KEG组。

朱文武

Ulf Grenander

Ulf Grenander:广义模式理论,随机过程,概率模型。60年代就开始成为模式数理方面的先驱,试图给自然界各种模式建立一套统一的数理模型。

Judea Pearl

Judea Pearl:概率知识表达与因果推断。UCLA,计算机系和统计系得双聘教授。图灵奖。

Leslei Valiant

Leslei Valiant:离散数学、计算机算法、分布式体系结构。图灵奖。开创了计算学习理论(Computational Learning Theory)。他还提出了PAC学习理论,弱分类器综合形成强分类器。

David Mumford

David Mumford:数学家,代数几何领域菲尔兹奖(Fields Medal)。兴趣驱动,不断学习的人物。转入计算机领域,主攻广义模式理论。朱松纯的博士导师。

Geoffrey Hinton

Geoffrey Hinton:神经网络、深度学习。图灵奖。

研究组

中科院计算所NLP组

刘洋老师毕业于该组。该组接受直博和硕士,以及9个月以上的实习。

目前NLP组的导师为冯洋。(2020最新的survey:神经机器翻译前沿综述

北京智源研究院

北京智源人工智能研究院(Beijing Academy of Artificial Intelligence,BAAI)。

领域

机器学习

计算机视觉

自然语言处理

深度学习

文献工具

Endnote

Mendeley

Zotero

Grammarly

Mathtype

启航

CSC留学基金委

https://www.csc.edu.cn/

公派出国针对的申请人群很广泛,不限于高校、企业等。

资助内容:一次往返国际旅费规定留学期间的奖学金(包括伙食费、住宿费、注册费、交通费、电话费、书籍资料费、医疗保险费、交际费、一次性安置费、签证延长费、零用费和学术活动补助费等)。

对部分人员可提供学费资助。

公派项目:

  • 高级研究学者
  • 访问学者
  • 博士后
  • 博士
  • 博士联培
  • 硕士
  • 国际组织实习

外语要求:(可以先上船后买票)

  • WSK(PETS5):笔试55分,听力18分,口试3分;
  • TOEFL:95;
  • IELTS:6.5。

国家公派出国留学外语合格条件

他山之石

比赛

超算

学堂在线计算未来云讲坛:国际超算赛事称霸指南,陈晟祺,何家傲

ASC(ASC Student Supercomputing Challenge):国内,独立比赛。

ISC(HPC-AI Advisory Cluster Competition):德国法兰克福。作为学术会议和展会的一部分(主办方非展会的官方)。

SC(Student Cluster Competition):美国某个城市。作为学术会议上的展会的一部分。


跑分

约束:5到6人;任何时间集群功耗不得超过3kW。

Benchmark跑分:HPL,HPCG,HPCC。

设备

计算设备:

  • CPU:双路 Intel / AMD 中高级服务器处理器,用于所有计算用途
    • Intel Xeon 8280($20000,225W),AMD 7742
  • GPU:NVDIA V100,用于大规模并行浮点运算(包括 benchmark)
    • NVDIA V100($10000,250W)

存储设备:

  • RAM:DDR4 高频率(2933 MHz) ECC RDIMM($3000~5000)
  • SATA SSD:用于系统安装、日常文件存储
  • NVMe SSD:高性能、高功耗,用于高吞吐量程序、IO benchmark 等

通信设备:

  • Ethernet NIC:低功耗、稳定,用于管理
  • InfiniBand(IB)NIC:高带宽、低延迟,用于应用通信
    • EDR带宽:100Gb/s。HDR带宽:200Gb/s。

并行程序框架

  • MPI
    • MIMD模型,多进程(多机)
    • 进程/线程绑定:numactl
      • 绑定某个进程在某个CPU上运行,减少进程/线程在核间的切换开销
    • 使用UCX框架基于IB进行通信
      • IB使用了一套独立的协议栈,有一套专属的通信原语RBMA
  • OpenMP
    • SMT模型,多线程(单机)
    • 线程绑定:OMP_AFFINITY
      • 通常会将MPI和OpenMP结合使用,节点之间使用MPI模型,节点内部使用OpenMP模型
  • *pthread
    • linux提供的一个底层编程库
  • CUDA
    • SIMI模型,在GPU上进行(简单的)大规模并行
      • 只支持大批量的简单操作的并行,每个运算分配到一个CUDA小核心上运算
      • GPU的核心数量远超CPU核心数
        • CPU核心”大学教授“ vs. GPU核心”小学生“
    • 可与MPI/OpenMP结合:CUDA-aware MPI
      • GPU和GPU之间直接交换数据
    • NCCL
      • 支持多GPU之间快速协同工作

中央选调生

唐仲英计划

公共服务精神、领导力潜质。

每年选拔一批具有公共服务精神和领导力潜质的清华大学在校生,实施为期2年的个性化培养。通过课程学习、拓展训练、社会实践和领导力行动等环节,为学员提供“价值塑造、能力培养、知识传授”三位一体的公共领导力培养,帮助学员坚定理想信念,增强综合素质。“唐仲英计划”于2011年开始实施,前九期共招收学员600余名。每期拟公开选拔学员60名左右(报名人数150名下限,实际报名人数可能更多)。

申请条件

  • 在校研究生或毕业班已推研本科生
  • 具有公共服务精神和领导力潜质
  • 具有较强的主动性,能够认真完成各个培养环节
  • 具有毕业后从事公共服务的意愿

培养计划

  • 公共管理知识与思维
  • 公共服务能力与素养
  • 公共治理价值与理念

课程学习

  • 能力测试(前期评估)
  • 公共政策与案例分析
  • 公共领导力
  • 东西方文明经典阅读

拓展训练

  • 通用职业能力测试
  • 4D卓越领导力
  • 国考培训
  • 公文写作
  • ……

实践与体验

  • 国际组织实习或公益服务
  • 海外调研或事件
  • 实践规划
  • 实践研究能力
  • ……

领导力行动

  • 做出真实改变
  • 组织能力、团队合作能力……

主要就业形式

  • 选调
  • 人才引进
  • 国考
  • 省考