思维之海

——在云端,寻找我的星匙。

学术探知

研究生不可避免地需要开始对文献,一个高效的文献管理,好比是论文界的数据库。但在正式开始读论文之前,对学术界的一个整体性的了解,也是比较重要的。甚至,有必要为自己留下一些后路,在学术道路上走得不顺时,以更好的心态来从事其它的路。但是足够的坚持力也应该作为一种精神,在科研中陪伴自己的根本上只有对智慧表现的渴望,在不断扩展边界中获得幸福。

References

论文写作初级调研 对论文写作的一些基本知识的笔记

看一些文献综述survey来了解一些领域的现状和前沿。

搜:领域 + survey(包括中文的学报上的综述文章)

会议

顶级会议及期刊

机器学习各领域顶会和实验室

初学者如何查阅自然语言处理学术资料(2016修订版)

ICML

NIPS

IJCAI

IJCAI(International Joint Conference on Artificial Intelligence)

AAAI

AAAI(AAAI Annual Conference)

ICCV

CVPR

KDD

数据挖掘领域顶级会议。

ACL

ACL学会网站建立了称作ACL Anthology的页面(URL:ACL Anthology),为其主办的所有国际学术会议论文提供免费下载,甚至也囊括了其他组织主办的学术会议,例如COLING、IJCNLP等。该平台还支持基于Google的全文检索功能,可谓一站在手论文我有。

NAACL 北美

EACL 欧洲

EMNLP

COLING

SIGMOD

SIGCOMM

INFOCOM

MOBICOM

MOBIHOC

SIGMETRICS

GLOBECOM

ICNP

期刊

Science

Nature

Nature可能会发布类脑计算方面的突破性工作。

TKDE

TKDE:IEEE Transactions on Knowledge and Data Engineering。

TKDE期刊在数据挖掘领域还算不错,属于顶级期刊。这里是一篇我读过的TKDE的文章:Here

TKDE期刊的审稿周期较长,一般在3-6个月(中途会有major revision,那时就差不多可以算中了),但是某些也会到1、2年……

JMLR(Journal of Machine Learning Research)

MLJ(Machine Learning)

PAMI(IEEE Trans. on Pattern Recognition and Machine Intelligence)

Artificial Intelligence

JAIR(Journal of Artificial Intelligence Research)

IJCV(International Journal of Computer Vison)

ACM Computing Surveys, IEEE Communications Surveys and Tutorials

Proceedings of the IEEE

Communications of the ACM, IEEE Computer

IEEE Personal Communications, IEEE Communications Magazine, IEEE Network

学者

https://www.zhihu.com/question/320404186/answer/656931573

唐杰

唐杰:机器学习理论。研究兴趣主要集中于社会网络分析、数据挖掘、机器学习和知识图谱。上次在b站上看过他对学术层次的一个划分视频。似乎是一位良好的导师。

朱军

朱军:机器学习理论。脑与智能实验室助理主任。在机器学习的课上第一次看见朱军老师,以往曾经听过一堆人对朱军的崇拜之意,可是现场的我有些迟疑——太年轻了吧,我有些认不出来。这让对学术之路有了些不切实际的希冀。朱老师做的是一些关于机器学习基础理论、强化学习、深度学习相关的工作,研究方向比较基础化。旁听了朱军老师的一门本科生研讨课,感觉他的学术水平是很难通过课程上体会到的(受限领域),在问问题和交流的时候才能感觉朱军的学识渊博。朱军老师跟MSRA的渊源很深(3年),曾获2007年微软学者奖学金,他的毕业学生有很多也在MSRA工作。

朱军和胡晓林老师在一个组。

朱松纯

朱松纯:机器学习理论,计算机视觉。最近回国发展了。现在正在探索通用人工智能(北京通用人工智能研究院),以及人工智能大一统理论。很多人评价朱松纯老师对未来学科发展有较强的预见力。在读了朱松纯的科普文章和博客,对他的认同感更强了。强人工智能是一个非常有价值的研究方向,显然如果想在这方面有所入门,那么读他的PhD会是一个很好的选择。20年9月选择受聘北大人工智能研究院院长。

龙明盛

龙明盛:机器学习理论。软件学院青年教师。在搜索TKDE时偶然发现。主要研究机器学习、深度学习、迁移学习、大数据分析。这些方向倒是与我的初步研究想法有些契合。

刘洋

刘洋:自然语言处理。长聘教授,人工智能研究所所长。在一次系微沙龙中听了刘洋老师的科研时间管理。深感“This is the way”。问及对博士生的准入要求,提及两点:独立、勤奋。(Mail

刘知远

刘知远:自然语言处理。刘知远老师常年欢迎访问学生,如果想拿到读博的推荐信至少需要工作9个月。

刘知远和刘洋老师在同一个组。

胡事民

胡事民:计算机图形学。在新生博论上见到胡老师,胡老师的研究课题就具有较为成熟的可视化,令人赞叹。胡老师的研究方向为计算机几何与图形学,不过在目前计算机视觉和计算机图形学日益融合的今天,研究过程中智能技术也会被涉及(例如GAN)。胡老师的讲课水平很高,平易近人,引人入胜。

史元春

史元春:人机交互。比较看重同学的兴趣和能力,几乎老师们对申请者的要求都有对他们研究方向的基础知识和前沿进展的了解。

沈向洋

沈向洋:MSRA。在高等研究院的双聘联培博士项目只接受本科直博。

Ulf Grenander

Ulf Grenander:广义模式理论,随机过程,概率模型。60年代就开始成为模式数理方面的先驱,试图给自然界各种模式建立一套统一的数理模型。

Judea Pearl

Judea Pearl:概率知识表达与因果推断。UCLA,计算机系和统计系得双聘教授。图灵奖。

Leslei Valiant

Leslei Valiant:离散数学、计算机算法、分布式体系结构。图灵奖。开创了计算学习理论(Computational Learning Theory)。他还提出了PAC学习理论,弱分类器综合形成强分类器。

David Mumford

David Mumford:数学家,代数几何领域菲尔兹奖(Fields Medal)。兴趣驱动,不断学习的人物。转入计算机领域,主攻广义模式理论。朱松纯的博士导师。

Geoffrey Hinton

Geoffrey Hinton:神经网络、深度学习。图灵奖。

文献工具

Endnote

Mendeley

Zotero

Grammarly

Mathtype

启航

CSC留学基金委

https://www.csc.edu.cn/

公派出国针对的申请人群很广泛,不限于高校、企业等。

资助内容:一次往返国际旅费规定留学期间的奖学金(包括伙食费、住宿费、注册费、交通费、电话费、书籍资料费、医疗保险费、交际费、一次性安置费、签证延长费、零用费和学术活动补助费等)。

对部分人员可提供学费资助。

公派项目:

  • 高级研究学者
  • 访问学者
  • 博士后
  • 博士
  • 博士联培
  • 硕士
  • 国际组织实习

外语要求:(可以先上船后买票)

  • WSK(PETS5):笔试55分,听力18分,口试3分;
  • TOEFL:95;
  • IELTS:6.5。

国家公派出国留学外语合格条件

他山之石

比赛

超算

学堂在线计算未来云讲坛:国际超算赛事称霸指南,陈晟祺,何家傲

ASC(ASC Student Supercomputing Challenge):国内,独立比赛。

ISC(HPC-AI Advisory Cluster Competition):德国法兰克福。作为学术会议和展会的一部分(主办方非展会的官方)。

SC(Student Cluster Competition):美国某个城市。作为学术会议上的展会的一部分。


跑分

约束:5到6人;任何时间集群功耗不得超过3kW。

Benchmark跑分:HPL,HPCG,HPCC。

设备

计算设备:

  • CPU:双路 Intel / AMD 中高级服务器处理器,用于所有计算用途
    • Intel Xeon 8280($20000,225W),AMD 7742
  • GPU:NVDIA V100,用于大规模并行浮点运算(包括 benchmark)
    • NVDIA V100($10000,250W)

存储设备:

  • RAM:DDR4 高频率(2933 MHz) ECC RDIMM($3000~5000)
  • SATA SSD:用于系统安装、日常文件存储
  • NVMe SSD:高性能、高功耗,用于高吞吐量程序、IO benchmark 等

通信设备:

  • Ethernet NIC:低功耗、稳定,用于管理
  • InfiniBand(IB)NIC:高带宽、低延迟,用于应用通信
    • EDR带宽:100Gb/s。HDR带宽:200Gb/s。

并行程序框架

  • MPI
    • MIMD模型,多进程(多机)
    • 进程/线程绑定:numactl
      • 绑定某个进程在某个CPU上运行,减少进程/线程在核间的切换开销
    • 使用UCX框架基于IB进行通信
      • IB使用了一套独立的协议栈,有一套专属的通信原语RBMA
  • OpenMP
    • SMT模型,多线程(单机)
    • 线程绑定:OMP_AFFINITY
      • 通常会将MPI和OpenMP结合使用,节点之间使用MPI模型,节点内部使用OpenMP模型
  • *pthread
    • linux提供的一个底层编程库
  • CUDA
    • SIMI模型,在GPU上进行(简单的)大规模并行
      • 只支持大批量的简单操作的并行,每个运算分配到一个CUDA小核心上运算
      • GPU的核心数量远超CPU核心数
        • CPU核心”大学教授“ vs. GPU核心”小学生“
    • 可与MPI/OpenMP结合:CUDA-aware MPI
      • GPU和GPU之间直接交换数据
    • NCCL
      • 支持多GPU之间快速协同工作

中央选调生

唐仲英计划

公共服务精神、领导力潜质。

每年选拔一批具有公共服务精神和领导力潜质的清华大学在校生,实施为期2年的个性化培养。通过课程学习、拓展训练、社会实践和领导力行动等环节,为学员提供“价值塑造、能力培养、知识传授”三位一体的公共领导力培养,帮助学员坚定理想信念,增强综合素质。“唐仲英计划”于2011年开始实施,前九期共招收学员600余名。每期拟公开选拔学员60名左右(报名人数150名下限,实际报名人数可能更多)。

申请条件

  • 在校研究生或毕业班已推研本科生
  • 具有公共服务精神和领导力潜质
  • 具有较强的主动性,能够认真完成各个培养环节
  • 具有毕业后从事公共服务的意愿

培养计划

  • 公共管理知识与思维
  • 公共服务能力与素养
  • 公共治理价值与理念

课程学习

  • 能力测试(前期评估)
  • 公共政策与案例分析
  • 公共领导力
  • 东西方文明经典阅读

拓展训练

  • 通用职业能力测试
  • 4D卓越领导力
  • 国考培训
  • 公文写作
  • ……

实践与体验

  • 国际组织实习或公益服务
  • 海外调研或事件
  • 实践规划
  • 实践研究能力
  • ……

领导力行动

  • 做出真实改变
  • 组织能力、团队合作能力……

主要就业形式

  • 选调
  • 人才引进
  • 国考
  • 省考