您现在的位置是:首页 > 正文

spark源码阅读——4. checkpoint

2024-02-29 12:16:22阅读 1

checkpoint步骤:

1. 建立checkpoint存储路径

scala> sc.setCheckpointDir("hdfs://master:9000/checkpoint0727")

2. rdd1.cache()

3. rdd1.checkpoint()

 

最好先cache:

阅读源码可以看到,在checkpoint的时候最好先进行cache,这样可以减少计算量,

在代码中,需要checkpoint的rdd是要计算两次的,

因为checkpoint机制是等到job结束后,另外启动一个job去checkpoint,也就是说,

需要checkpoint的rdd是要计算两次的,一次正常程序的计算,一次checkpoint。

 

网站文章

  • Nginx配置HTTPS,Tomcat把HTTP切换至HTTPS

    Nginx配置HTTPS,Tomcat把HTTP切换至HTTPS

    文章目录前言一、Nginx配置HTTPS1.下载Nginx2.解压安装包并配置SSL3.修改Nginx配置二、Tomcat配置阀门1.引入库2.读入数据总结 前言 最近客户要把http升级成https...

    2024-02-29 12:15:53
  • 评测标准召回率Recall@K的理解与解析

    评测标准召回率Recall@K的理解与解析

    如图:定义总共红色边框为all_negative=5 (负样本)总共绿色边框为all_positive=5(正样本)top-k推荐:从最后的按得分排序的推荐列表中返回前k个结果。Precision准确...

    2024-02-29 12:15:46
  • 阿里云上,盒马狂奔

    阿里云上,盒马狂奔

    四岁了,盒马依旧在加速狂奔。2019年3月底,成都盒马高笋塘店开门迎客。这是成都的第12家盒马店,接踵摩肩的消费者热情依旧。一个统计,成都主城区的盒区房覆盖率全国第一,达到75%,服务小区数量超过9100个。盒马消息称,西安二环内、上海主城区的盒区房覆盖率也超过70%。过去一年,盒马以“4天开1店”的速度进入了全国20个城市,因为便捷的服务和新...

    2024-02-29 12:15:40
  • 毕业生干外包(三)

    经过n次面试,盼星星盼月亮的机会终于来了——进项目组。然而,人总是那么的贪心,当东西到来的时候,又会嫌弃它的不足。接收我的项目组,既不是peoplesoft,也不是IBM,更不是MS,总而言之就不是WC的主流部门。那到底是什么呢?竟然是手机测试(很笼统的说)。更甚的是,对这个项目组一点都不了解,连具体干些什么工作都不知道,心里挺彷徨忐忑的,但是看看社会招聘的条件,自己也没有几项能符合,那也只能安慰

    2024-02-29 12:15:11
  • 为渲染符号设置空颜色

    在图层渲染中有时候会将某种要素渲染为空颜色,即无色在AE中有两种方法可以实现(以面符号为例):1. 将面符号的Style属性设置为esriSFSNull或者esriSFSHollow2. 将面符号的C...

    2024-02-29 12:15:05
  • linux正确读音 热门推荐

    linux正确读音

    2024-02-29 12:14:59
  • Leetcode. 88合并两个有序数组

    Leetcode. 88合并两个有序数组

    Leetcode. 88合并两个有序数组 的简单总结

    2024-02-29 12:14:29
  • 由于Full GC频繁造成服务器频繁重新启动

    最近的一个java项目中,由于经常出现Full GC的状况,最终导致服务器重新启动,影响到实际的业务。 最后详细查了程序的代码,有两个原因造成这个现象。 1、分页的时候,使用了不好的方法,导致生成很大的对象。 比如 customer.list.size() 全体数据取出后生成对象 customer.counter() 直接c

    2024-02-29 12:14:13
  • YApi中时间参数设置

    YApi中时间参数设置

    1.在用例的时间参数设置项点击编辑按钮 2.选择mock数据,检索@now,选中后表达式和预览项中出现数据信息,点击插入按钮 3.对时间参数进行手动编辑,将{{ @now }}改为{{ @now(‘month’) }},接口请示时的时间我当前月的第一天的时间 也可设置其他时间 @now(‘year’) “2019-01-01 00:00:00” ...

    2024-02-29 12:14:06
  • Charles Https配置

    Charles Https配置

    1、电脑端下载证书,网址https://www.charlesproxy.com/assets/legacy-ssl/charles.crt 2、电脑端安装证书,Help-->SSL proxy...

    2024-02-29 12:13:36