鱼羊起源于奥飞寺
量子位报告 | 公众号QbitAI
微信用的是深度学习框架,现在你也可以试试。
就在最近,腾讯正式开源了这个名为 deepx_core 的深度学习基础库。
与PyTorch、TensorFlow等流行的深度学习框架相比,这款播放器不仅通用性强c语言实现神经网络算法c语言实现神经网络算法,还针对高维稀疏数据场景进行了深度优化。
换句话说,它将更加友好和易于开发深度学习应用程序,例如搜索、推荐和广告。
到底是怎么回事,一起来了解一下吧~
张量计算/深度学习的基础库
根据项目介绍,deepx_core是一个使用C++11开发的通用深度学习框架。基于deepx_core,可以快速开发张量计算/机器学习/深度学习/强化学习/图神经网络/无监督学习等应用。
关于 deepx_core 的特性,我们先从张量说起。
Tensor 是 deepx 的核心数据结构,有以下几种类型。
其中 float_t 是单精度浮点数,int_t 是 64 位无符号整数。
值得一提的是,稀疏张量一直是开源框架的痛点,但搜索、推荐等算法应用其实是高维稀疏数据场景。
为此,deepx_core 设计并实现了稀疏张量和支持运算,并以原生方式实现了稀疏模型。
在分布式训练场景中,稀疏张量均匀分布在多个参数服务器上,模型规模可以随着参数服务器数量的增加而线性扩展。
deepx_core 的另一个重要模块是计算图。
具体来说,deepx_core提供了一个静态图引擎,支持自动推导,支持100+运算,几乎覆盖了所有网络类型。
计算图引擎通常用于各种深度学习任务。一个完整的深度学习应用主要包括以下模块的开发和使用:
在 deepx_core 中,示例解析器和优化器是独立的模块。如果内置的示例解析器和优化器不能满足要求,可以通过继承添加新的解析器和优化器。
另外,因为是基于C++开发的,所以deepx_core具有高性能和跨平台的特点。
根据官方实验数据,基于 deepx_core 的方案性能一般是开源框架的 5-10 倍。
安装和使用
如果你想自己尝试这个新的开源框架,你需要准备一个支持 C++11 的编译器来编译。
使-j8
再次运行单元测试。
进行 -j8 测试
然后安装它。
make -j8 install PREFIX=/where/you/want/to/install
现有应用
最后简单介绍一下项目背后的开发团队。
deepx_core的开发者来自微信看看算法平台团队。
据介绍,在正式开源之前,deepx系列机器学习项目在腾讯内部已经经历了3年多的迭代。
微信看、微信搜索、微信支付、微信表情、微信视频号、微信小程序、微信阅读、QQ音乐、应用宝、腾讯新闻、腾讯课堂、腾讯黑产罢工等排序/召回场景,均已上线deepx_core 及其衍生项目。
说起来,鹅厂这几年确实在开源上下了不少功夫。
据腾讯2020年《腾讯研发大数据报告》显示,腾讯目前深度参与数十个国际知名开源项目的贡献,在OpenJDK、KVM等开源社区贡献榜上位居中国第一。
请登录后发表评论
注册
社交帐号登录