全国咨询/投诉热线:400-618-4000

全部 大数据新闻动态 大数据技术文章 大数据常见问题 技术问答

    • 大数据实战之反爬虫系统视频教程【大数据培训】

      通过不断的订座但不支付,利用这些虚占的座位进行非法盈利,通过系统日志分析等,发现官网存在大量的非法占座会员及非会员手机号用户。 为了限制伪装技术越来越强的爬虫访问和恶意占座行为,需要开发大数据防爬工具。 项目采用Lua+Spark+Redis+Hadoop框架搭建,包含状态监控,反爬指标配置,运营指标监控展示等功能。 查看全文>>

      大数据技术文章2020-06-02 |传智播客 |反爬虫系统

    • Spark Streaming框架有什么特点?【大数据培训】

      Spark Streaming是构建在Spark上的实时计算框架,且是对Spark Core API的一个扩展,它能够实现对流数据进行实时处理,并具有很好的可扩展性、高吞吐量和容错性。Spark Streaming具有如下显著特点。 查看全文>>

      大数据技术文章2020-05-29 |Spark Streaming框架特点 |Spark Streaming框架

    • 大数据实时计算的框架有哪些?【大数据培训】

      近年来,Web应用、网络监控、传感监测、电信金融、生产制造等领域,对数据实时处理的需求不断增强,而Spark中的SparkStreaming实时计算框架就是为了实现对数据实时处理的需求而设计的。在电子商务中,淘宝、京东等网站从用户点击的行为(如加入购物车)和浏览的历史记录中发现用户的购买意图和兴趣,然后通过Sparkstreaming实时计算框架分析处理,为之推荐相关商品,从而有效地提高商品的销售量,同时也增加了用户的满意度,可谓是“一举两得”。 查看全文>>

      大数据技术文章2020-05-29 |传智播客 |大数据实时计算框架

    • 2分钟快速了解kafka[大数据培训]

      Kafka是一个高吞吐量的分布式发布订阅消息系统,它在实时计算系统中有着非常强大的功能。通常情况下,使用Kafka构建系统或应用程序之间的数据管道,用来转换或响应实时数据,使数据能够及时地进行业务计算,得出相应结果。 查看全文>>

      大数据技术文章2020-05-29 |传智播客 |kafka

    • 点对点消息传递模式与发布订阅消息传递模式【大数据培训】

      大数据系统面临的首要困难是海量数据之间该如何进行传输。为了解决大数据集的传输困难,就必须要构建一个消息系统。一个消息系统负责将数据从一个应用程序传递到另外一个应用程序中,应用程序只关注数据,无须关注数据在多个应用之间是如何传递的,分布式消息传递基于可靠的消息队列,在客户端应用和消息系统之间异步传递消息。 查看全文>>

      大数据技术文章2020-05-29 |传智播客 |消息传递模式

    • Spark与Hadoop有哪些区别?【大数据培训】

      Hadoop与Spark都是大数据计算框架,但是两者各有自己的优势,Spark与Hadoop的区别主要有以下几点。 查看全文>>

      大数据技术文章2020-04-24 |传智播客 |Spark与Hadoop的区别

    • Spark有什么特点?【大数据培训】

      Spark计算框架在处理数据时,所有的中间数据都保存在内存中。正是由于Spark充分利用内存对数据进行计算,从而减少磁盘读写操作,提高了框架计算效率。同时Spark还兼容HDFS、Hive,可以很好地与Hadoop系统融合,从而弥补MapReduce高延迟的性能缺点。所以说,Spark是一个更加快速、高效的大数据计算平台。 查看全文>>

      大数据技术文章2020-04-24 |传智播客 |Spark特点

    • 哪些领域适合应用机器学习?【大数据培训】

      机器学习强调3个关键词:算法、经验和性能。在数据的基础上,通过算法构建出模型,然后用训练模型测试已有的数据集进行评估,如果评估达到要求,就将模型应用于生产环境中,如果该模型没有很好的表现,那么就需要重新调整算法参数,最终获得一个满意的模型来处理其他的数据。机器学习技术和方法已经被成功应用到多个领域,如个性化推荐系统、计算机视觉、语音识别、自然语言处理以及智能机器控制等领域。机器学习是人工智能的核心,可以应用于各行各业,与人们的生活息息相关。以下是机器学习应用的常见领域。 查看全文>>

      大数据技术文章2020-04-23 |传智播客 |机器学习应用领域

    << 1 2 3 4 5 6 7 8 9 ... 23 > >>

javaee

python

web

ui

cloud

test

c

netmarket

pm

Linux

movies

robot

uids

北京校区

    14天免费试学

    基础班入门课程限时免费

    申请试学名额

    15天免费试学

    基础班入门课程限时免费

    申请试学名额

    15天免费试学

    基础班入门课程限时免费

    申请试学名额

    15天免费试学

    基础班入门课程限时免费

    申请试学名额

    20天免费试学

    基础班入门课程限时免费

    申请试学名额

    8天免费试学

    基础班入门课程限时免费

    申请试学名额

    20天免费试学

    基础班入门课程限时免费

    申请试学名额

    5天免费试学

    基础班入门课程限时免费

    申请试学名额

    0天免费试学

    基础班入门课程限时免费

    申请试学名额

    12天免费试学

    基础班入门课程限时免费

    申请试学名额

    5天免费试学

    基础班入门课程限时免费

    申请试学名额

    5天免费试学

    基础班入门课程限时免费

    申请试学名额

    10天免费试学

    基础班入门课程限时免费

    申请试学名额