PyCon Shanghai 2016

内容简洁,只介绍见闻,感兴趣的需要自己去深挖。

使用Python进行高效大数据工作流与任务调度

分享嘉宾是Splunk的丁来强,介绍了很多大数据的调度系统,说了很多,我只感兴趣Airbnb开源的AirFlow,看起来,蛮高端的。

AirFlow现在还是Apache的孵化项目,但是热度很大,GitHub上已经有3k多了,做大数据开发和应用的下伙伴们可以关注下~

用高魔的姿势调 python 程序

嘉宾是饿了么的郭浩川,介绍的是线上生产环境调试的问题。使用了下面几个工具:

  • gevent
  • dtrace
  • systemtap

经历和很多实战后现在选择systemtap,不过这个工具有很多限制:官方的Python并没有编译到发行版中,Ubuntu使用的话需要预编译到python中。但是CentOS的python是编译进去的,所以饿了么生产使用的是CentOS系统~

双剑合壁——Python和大数据计算平台的结合

嘉宾阿里云的,主要介绍Aliyun的ODPS大数据平台ODPS,以及基于Pandas开发的适用于ODPS分布式计算的PyODPS

ODPS平台提供了Jupyter插件,可以在Jupyter中交互式查询与开发,对查询结果进行分页/可视化,和DataBricks的notebook的功能类似。

最后

我是从南京赶到上海参加的,下午3点多因为主办方在现场群ppt直播,而且我感兴趣的内容基本在上午,所以就提前离开了。印象深刻的内容都介绍到上面了,这里我对AirFlow很感兴趣,但是最近事情多,不知道什么时候能抽空研究下。