深度学习框架,你也可以上手试一试了(组图)

鱼羊起源于奥飞寺

量子位报告 | 公众号QbitAI

微信用的是深度学习框架,现在你也可以试试。

就在最近,腾讯正式开源了这个名为 deepx_core 的深度学习基础库。

与PyTorch、TensorFlow等流行的深度学习框架相比,这款播放器不仅通用性强c语言实现神经网络算法c语言实现神经网络算法,还针对高维稀疏数据场景进行了深度优化。

换句话说,它将更加友好和易于开发深度学习应用程序,例如搜索、推荐和广告。

到底是怎么回事,一起来了解一下吧~

张量计算/深度学习的基础库

根据项目介绍,deepx_core是一个使用C++11开发的通用深度学习框架。基于deepx_core,可以快速开发张量计算/机器学习/深度学习/强化学习/图神经网络/无监督学习等应用。

关于 deepx_core 的特性,我们先从张量说起。

Tensor 是 deepx 的核心数据结构,有以下几种类型。

其中 float_t 是单精度浮点数,int_t 是 64 位无符号整数。

值得一提的是,稀疏张量一直是开源框架的痛点,但搜索、推荐等算法应用其实是高维稀疏数据场景。

为此,deepx_core 设计并实现了稀疏张量和支持运算,并以原生方式实现了稀疏模型。

在分布式训练场景中,稀疏张量均匀分布在多个参数服务器上,模型规模可以随着参数服务器数量的增加而线性扩展。

deepx_core 的另一个重要模块是计算图。

图片[1]-深度学习框架,你也可以上手试一试了(组图)-老王博客

具体来说,deepx_core提供了一个静态图引擎,支持自动推导,支持100+运算,几乎覆盖了所有网络类型。

计算图引擎通常用于各种深度学习任务。一个完整的深度学习应用主要包括以下模块的开发和使用:

在 deepx_core 中,示例解析器和优化器是独立的模块。如果内置的示例解析器和优化器不能满足要求,可以通过继承添加新的解析器和优化器。

另外,因为是基于C++开发的,所以deepx_core具有高性能和跨平台的特点。

根据官方实验数据,基于 deepx_core 的方案性能一般是开源框架的 5-10 倍。

安装和使用

如果你想自己尝试这个新的开源框架,你需要准备一个支持 C++11 的编译器来编译。

使-j8

再次运行单元测试。

进行 -j8 测试

然后安装它。

make -j8 install PREFIX=/where/you/want/to/install

现有应用

最后简单介绍一下项目背后的开发团队。

deepx_core的开发者来自微信看看算法平台团队。

据介绍,在正式开源之前,deepx系列机器学习项目在腾讯内部已经经历了3年多的迭代。

微信看、微信搜索、微信支付、微信表情、微信视频号、微信小程序、微信阅读、QQ音乐、应用宝、腾讯新闻、腾讯课堂、腾讯黑产罢工等排序/召回场景,均已上线deepx_core 及其衍生项目。

说起来,鹅厂这几年确实在开源上下了不少功夫。

据腾讯2020年《腾讯研发大数据报告》显示,腾讯目前深度参与数十个国际知名开源项目的贡献,在OpenJDK、KVM等开源社区贡献榜上位居中国第一。

© 版权声明
THE END
喜欢就支持一下吧
点赞0
分享
评论 抢沙发

请登录后发表评论