技术小站8

网站首页 互联网 > 正文

谷歌推出面向移动和嵌入式设备的TensorFlow Lite 1.0

2021-10-08 06:51:27 互联网 来源:
导读 谷歌今天推出了TensorFlow Lite 1 0,这是一个供开发者在移动和物联网设备上部署AI模型的框架。改进包括在训练期间和之后对更快和更

谷歌今天推出了TensorFlow Lite 1.0,这是一个供开发者在移动和物联网设备上部署AI模型的框架。改进包括在训练期间和之后对更快和更小的模型进行选择性配准和量化。量化导致一些模型压缩4倍。

“我们将全力支持。我们不会破坏东西,并确保我们保证它们的兼容性。TensorFlow的工程总监Rajat Monga在电话采访中告诉VentureBeat,我认为很多人需要这些保证才能在手机上部署这项功能。

Lite从在TensorFlow上训练AI模型开始,然后转换为创建用于在移动设备上操作的Lite模型。Lite于2017年5月在I/O开发者大会上首次发布,并于当年晚些时候在开发者预览版中推出。

谷歌的TensorFlow Lite团队也分享了未来的路线图,旨在减少和加速AI模型的边缘部署,包括模型加速,尤其是针对使用神经网络的安卓开发者,以及基于Keras的连接修剪套件和额外的量化增强功能。

其他变化:

支持控制流,这对于递归神经网络等模型的运行至关重要。

使用Lite模型优化CPU性能可能涉及与其他公司的合作。

扩大GPU委托操作的覆盖范围,最终确定API使其普遍可用。

将为开发人员制作Lite模型提供一个TensorFlow 2.0模型转换器,以便更好地了解转换过程中的错误以及如何解决问题。

TensorFlow Lite工程师拉结尔阿尔瓦雷斯在加州桑尼维尔谷歌办公室举行的TensorFlow开发者峰会上表示,如今,TensorFlow Lite已被超过20亿台设备部署。

Alvarez表示,TensorFlow Lite正越来越多地让TensorFlow Mobile过时,除了那些想用它进行培训的用户,但解决方案正在进行中。

正在探索各种技术来缩小人工智能模型的大小并优化移动设备,例如量化和委托(在不同硬件中执行图形以提高推理速度的结构化层)。

1月份的开发者预览提供了很多设备代表的移动GPU加速功能。它可以使模型部署速度比浮点CPU快2到7倍。边缘TPU意味着它可以将速度提高到浮点中央处理器的64倍。

未来谷歌计划普遍提供GPU代表,扩大覆盖范围,最终确定API。

许多原生谷歌应用和服务使用TensorFlow Lite,包括GBoard、谷歌照片、AutoML和Nest。当谷歌助手现在需要在离线时响应查询时,所有的CPU模型计算都由Lite执行。

Lite还可以在覆盆子Pi和今天早些时候推出的新的150美元珊瑚开发板等设备上运行。

它也在今天首次亮相:TensorFlow 2.0的alpha版本简化了用户体验;TensorFlow.js 1.0以及面向使用苹果编程语言Swift编写代码的开发者的TensorFlow版本。

TensorFlow Federated和TensorFlow Privacy也于今日发布。

苹果的机器学习框架Core ML于2017年12月推出。

定制的TensorFlow Lite模型也可以与ML Kit一起使用,ML Kit是开发人员为移动设备创建模型的快捷方式。它是去年为使用Firebase的安卓和iOS开发者推出的。


版权说明: 本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。


标签:




热点推荐
热评文章
随机文章