欢迎来到北京赛车官方投注平台!
SEO培训

斯坦福最新深度学习测试:华为云北京赛车投注

2018-12-25 21:05 admin

  昨天看到一篇文章,题目为《进化的台湾》,作者法号“大别山居11世”,一看就是位高人。作者提到参加台北国际书展的一些故事。他认真参观了很多个展位,给他印象最深的是,几乎所有的展商都很和善很有亲和力(当然,来自某国的展商除外),这与其他行业展销会的情景有很大的不同。在其他类别的展销中,展销商总会非常急切地推销自己的产品。那架势几乎和失足妇女做生意的做法相仿了,所以很让人反感。而这些书商却完全不同,大家根本不谈生意,更不会推销书籍,而是直奔文化主题,比如聊书的作者,聊作者的思想,聊思想的品位,直聊得客人如遇见了知己般贴心。在如此语境中,客人会忘记这些商人的身份,会把他们当成学者一般仰视。那么在如此深度的交流之后,客人还会嫌自己钟爱的作品昂贵吗?

  7月2日百度站长平台发出公告解释22号、28号K站原因,公告的核心说被K的网站主要是内容质量差、内容采集、内容伪原创或是网站用户体验差。看到这个解释我真的笑了,负责的网站,里边所有的内容均为公司专业编辑原创而成,我们的编辑每天8小时就写2篇左右的行业资讯内容,当然您也可以说写的质量不高,可花大量时间一字一字写出来的总比伪原创甚至是采集要好吧,但事实上是我一个朋友的站,每天几百条内容全部是采集,但他现在的排名相当好、流量也非常高。

  也许这就是seo的真正内涵吧。面对搜索引擎的频繁变动,也许一些做seo朋友会说,我们只能顺应新的游戏规则,适应新的检索排名机制。但很多时候,并不是随着搜索引擎的波动我们随波逐流的,作为职业网站优化师,要有自己宏观的seo理论和微观战略思维方式。因为搜索引擎的每次波动未必都是正确的。

  中国电影产业研究报告:2017年总票房达523亿元,中外合拍片受资本青睐

  本公司承诺以诚实信用、勤勉尽责的原则管理和运用基金资产,但不保证基金一定盈利,也不保证最低收益。投资者投资于基金前应认真阅读基金的基金合同、招募说明书等文件。敬请投资者注意投资风险。

  Topsem(竞价易)是一款搜索引擎营销智能竞价工具,由广东天拓资讯科技有限公司旗下天拓智投研发。Topsem能有效帮助广告主解决海量关键词难管理,人工调价费时费力等问题,具有快、准、省的特点。目前服务的客户遍布各大行业,包括中国电信、网易、赶集网、苏宁易购、梦芭莎、蚂蚁短租、金道贵金属、新东方、3158、链家地产等。

  了解访客系统环境:各种客户端系统环境的访客在网站上浏览的情况。

  【合肥爆料团】高速时代广场物业私开我家暖气阀门,屋子进水被淹,竟不想负责?

  2月20日发布!三星Galaxy S10售价曝光:顶配1.2万元

  仅仅在2016年q3电子商务市场交易规模5.2万亿元,同比增长30.8%,环比增长12.9%。

  今天还看到百度相关部门说报警的事,报警只针对违法恶性事件,对站长、seo的一些正确的诉求,你们却也要通过报警这种方式来解决,这样只会让站长、seo更恨你们,况且现在还有代理IP、vpn技术,要隐藏网络身份是很容易的事。其实我觉得这次的事件对百度真的是一个小事件,非常容易解决,只要和站长、seo对话,引导大家如何合理去做SEO就可以了,这样站长、seo不失业,百度也能得到想要的用户体验和高质量内容,这样双方都会很愉快。百度不单要文字上说明不能买外链、不能发垃圾外链,技术上也要做到,技术上做到了这些工作就无效了,还怎么可能有人买外链、发垃圾外链呢。

  扁平、语义化(拼音或英文)的URL对排名有好处,容易被第三方引用,而且不容易造成死链。

  乌村村长金国强告诉记者,这是互联网小镇的乡镇象征,也是农耕文化与时尚包括互联网的结合体。

  对于一个有着丰富经验,做网站优化的人来讲,让搜索引擎的排名靠前,这是最基本的操作,但是在日常检查的过程当中,哪些步骤是一定不能够省略的,哪些又是一定要花费时间来对网站进行评估的这些,站在一个提醒的角度,一定都是需要时刻关注的。所以接下来就教大家如何在搜索引擎当中,让排名快速的靠前。

  近日,斯坦福大学发布了DAWNBenchmark最新成绩,在图像识别(ResNet50-on-ImageNet,93%以上精度)的总训练时间上,华为云ModelArts排名第一,仅需10分28秒,比第二名提升近44%。成绩证明,华为云ModelArts实现了更低成本、更快速度、更极致的体验。

  近日,斯坦福大学发布了DAWNBenchmark最新成绩,在图像识别(ResNet50-on-ImageNet,93%以上精度)的总训练时间上,华为云ModelArts排名第一,仅需10分28秒,比第二名提升近44%。成绩证明,华为云ModelArts实现了更低成本、更快速度、更极致的体验。

  斯坦福大学DAWNBench是用来衡量端到端的深度学习模型训练和推理性能的国际权威基准测试平台,相应的排行榜反映了当前全球业界深度学习平台技术的领先性。计算时间和成本是构建深度模型的关键资源,DAWNBench提供了一套通用的深度学习评价指标,用于评估不同优化策略、模型架构、软件框架、云和硬件上的训练时间、训练成本、推理延迟以及推理成本。

  作为人工智能最重要的基础技术之一,近年来深度学习也逐步延伸到更多的应用场景。随着深度学习模型越来越大,所需数据量越来越多,深度学习的训练和推理性能将是重中之重。华为云ModelArts将结合华为在AI芯片、硬件、云设施、软件和算法的全栈优势,打造更快的普惠的AI开发平台。

  下文将深入分析,华为云ModelArts如何做到性能极致128块GPU,ImageNet训练时间10分钟。

  1. 深度学习已广泛应用,模型增大、数据增长,深度学习训练加速的需求日益剧增

  近年来,深度学习已经广泛应用于计算机视觉、语音识别、自然语言处理、视频分析等领域,可服务于视频监控、自动驾驶、搜索推荐、对话机器人等场景,具有广阔的商业价值。

  为了达到更高的精度,通常深度学习所需数据量和模型都很大,训练非常耗时。例如,在计算机视觉中,如果我们在ImageNet[1]数据集上用1块V100 GPU训练一个ResNet-50模型, 则需要耗时将近1周。这严重阻碍了深度学习应用的开发进度。因此,深度学习训练加速一直是学术界和工业界所关注的重要问题,也是深度学习应主要用的痛点。

  Jeremy Howard等几位教授领衔的fast.ai当前专注于深度学习加速,在ImageNet数据集上用128块V100 GPU训练 ResNet-50模型的最短时间为18分钟。

  然而,最近BigGAN、NASNet、BERT等模型的出现,预示着训练更好精度的模型需要更强大的计算资源。可以预见,在未来随着模型的增大、数据量的增加,深度学习训练加速将变得会更加重要。只有拥有端到端全栈的优化能力,才能使得深度学习的训练性能做到极致。

  [1] 文中所指的ImageNet数据集包含1000类个类别,共128万张图片,是最常用、最经典的图像分类数据集,是原始的ImageNet数据的一个子集。

  2. 华为云ModelArts创造新纪录,“极致”的训练速度

  华为云ModelArts是一站式的AI开发平台,已经服务于华为公司内部各大产品线的AI模型开发,几年下来已经积累了跨场景、软硬协同、端云一体等多方位的优化经验。ModelArts提供了自动学习、数据管理、开发管理、训练管理、模型管理、推理服务管理、市场等多个模块化的服务,使得不同层级的用户都能够很快地开发出自己的AI模型。

  在模型训练部分,ModelArts通过硬件、软件和算法协同优化来实现训练加速。尤其在深度学习模型训练方面,华为将分布式加速层抽象出来,形成一套通用框架MoXing(“模型”的拼音,意味着一切优化都围绕模型展开)。采用与fast.ai一样的硬件、模型和训练数据,ModelArts可将训练时长可缩短到10分钟,创造了新的纪录,为用户节省44%的时间。

  MoXing是华为云ModelArts团队自研的分布式训练加速框架,它构建于开源的深度学习引擎TensorFlow、MXNet、PyTorch、Keras之上,使得这些计算引擎分布式性能更高,同时易用性更好。

  MoXing内置了多种模型参数切分和聚合策略、分布式SGD优化算法、级联式混合并行技术、超参数自动调优算法,并且在分布式训练数据切分策略、数据读取和预处理、分布式通信等多个方面做了优化,结合华为云Atlas高性能服务器,实现了硬件、北京赛车投注平台软件和算法协同优化的分布式深度学习加速。

  在易用性方面,上层开发者仅需关注业务模型,无需关注下层分布式相关的API,仅需根据实际业务定义输入数据、模型以及相应的优化器即可,训练脚本与运行环境(单机或者分布式)无关,上层业务代码和分布式训练引擎可以做到完全解耦。

  吞吐量一般取决于服务器硬件(如更多、更大FLOPS处理能力的AI加速芯片,更大的通信带宽等)、数据读取和缓存、数据预处理、模型计算(如卷积算法选择等)、通信拓扑等方面的优化,除了低bit计算和梯度(或参数)压缩等,大部分技术在提升吞吐量的同时,不会造成对模型精度的影响。为了达到最短的收敛时间,需要在优化吞吐量的同时,在调参方面也做调优。如果调参调的不好,那么吞吐量有时也很难优化上去,例如batch size这个超参不足够大时,模型训练的并行度就会较差,吞吐量难以通过增加计算节点个数而提升。

  对用户而言,最终关心的指标是收敛时间,因此MoXing和ModelArts实现了全栈优化,极大缩短了训练收敛时间。在数据读取和预处理方面,MoXing通过利用多级并发输入流水线使得数据IO不会成为瓶颈;在模型计算方面,MoXing对上层模型提供半精度和单精度组成的混合精度计算,通过自适应的尺度缩放减小由于精度计算带来的损失;在超参调优方面,采用动态超参策略(如momentum、batch size等)使得模型收敛所需epoch个数降到最低;在底层优化方面,MoXing与底层华为自研服务器和通信计算库相结合,使得分布式加速进一步提升。

  一般在ImageNet数据集上训练ResNet-50模型,当Top-5精度93%或者Top-1 精度75%时即可认为模型收敛。

  我们测试的模型训练收敛曲线如下图所示。此处Top-1和Top-5精度为训练集上的精度,为了达到极致的训练速度,训练过程中采用了额外进程对模型进行验证,最终验证精度如表1所示(包含与fast.ai的对比)。图4(a)所对应的模型在验证集上Top-1 精度75%,训练耗时为10分06秒;图4(b)所对应的模型在验证集上Top-5 精度93%,训练耗时为10分28秒。

  6. 未来展望更快的普惠AI开发平台

  华为云ModelArts致力于为用户提供更快的普惠AI开发体验,尤其在模型训练这方面,内置的MoXing框架使得深度学习模型训练速度有了很大的提升。正如前所述,深度学习加速属于一个从底层硬件到上层计算引擎、再到更上层的分布式训练框架及其优化算法多方面协同优化的结果,具备全栈优化能力才能将用户训练成本降到最低。

  后续,华为云ModelArts将进一步整合软硬一体化的优势,提供从芯片(Ascend)、服务器(Atlas Server)、计算通信库(CANN)到深度学习引擎(MindSpore)和分布式优化框架(MoXing)全栈优化的深度学习训练平台。并且,ModelArts会逐步集成更多的数据标注工具,扩大应用范围,将继续服务于智慧城市、智能制造、自动驾驶及其它新兴业务场景,在公有云上为用户提供更普惠的AI服务。

  目前华为云ModelArts已经在公测中,欢迎大家前往官网试用。北京赛车线上信誉投注网:

上一篇:全国两会即将召开抓紧前瞻性学习这些关键词传
下一篇:NeurIPS 201SEM8亮点选读:深度推理学习中的图网络
在线注册 | 北京赛车平台 | 北京赛车投注平台 | 北京赛车官方投注平台 | 北京赛车线上信誉投注网 | 时时彩皇家平台官网 时时彩皇家平台官网|网站地图
电话:0755-12345678 传真:0769-88888888
copyright 2018 版权所有 北京赛车官方投注平台
一键向上