您现在的位置是:首页 > 正文

Flink读取HDFS上的Parquet文件生成DataSet

2024-01-30 23:13:21阅读 0

首先打开Flink的官方网站,查看一下DataSet已支持的数据源。

  • File-based
readTextFile(path) / TextInputFormat - Reads files line wise and returns them as Strings.

readTextFileWithValue(path) / TextValueInputFormat - Reads files line wise and returns them as StringValues. StringValues are mutable strings.

readCsvFile(path) / CsvInputFormat - Parses files of comma (or another char) delimited fields. Returns a DataSet of tuples or POJOs. Supports the basic java types and their Value counterparts as field types.

readFileOfPrimitives(path, Class) / PrimitiveInputFormat - Parses files of new-line (or another char sequence) delimited primitive data types such as String or Integer.

readFileOfPrimitives(path, delimiter, Class) / PrimitiveInputFormat - Parses files of new-line (or another char sequence) delimited primitive data types such as String or Integer using the given delimiter.
  • Collection-based
fromCollection(Collection) 

网站文章

  • Python 文件操作

    python中对文件、文件夹(文件操作函数)的操作需要涉及到os模块和shutil模块。得到当前工作目录,即当前Python脚本工作的目录路径: os.getcwd()返回指定目录下的所有文件和目录名:os.listdir()函数用来删除一个文件:os.remove()删除多个目录:os.removedirs(r“c:\python”)检验给出的

    2024-01-30 23:13:15
  • Python代码编写规范

    Python代码编写规范

    Python代码编写规范

    2024-01-30 23:12:47
  • Java开发琐碎语法(长期更新)

    1、List赋初值可使用:Arrays.asList(0.1, 0.25, 0.5, 0.75, 0.9);3、BigDecimal的加减乘除:add、subtract、multiply、divide...

    2024-01-30 23:12:42
  • 简单的打字游戏心得体会(代码)

    生成字母: Ø 可以用label ,span等标签将字母包里面,因为这些标签的范围正好是标签内的文本的大小,而,div或者p标签则会使整行的区域都包括,需要设置样式,所以在这选择的是label。var...

    2024-01-30 23:12:35
  • 服务器阻止了对组件 ad,解决SQL Server 阻止了对组件Ad Hoc Distributed Queries访问的方法...

    服务器阻止了对组件 ad,解决SQL Server 阻止了对组件Ad Hoc Distributed Queries访问的方法...

    今天单位一ASP.NET网站,里面有个功能是导出数据,发现一导出就报错,报错内容是:SQL Server 阻止了对组件 'Ad Hoc Distributed Queries' 的 STATEMENT'OpenRowset/OpenDatasource' 的访问,因为此组件已作为此服务器安全配置的一部分而被关闭。系统管理员可以通过使用 sp_configure 启用 'Ad Hoc Dis...

    2024-01-30 23:12:04
  • 运维体系管理16-线上环境建设,要扛得住真刀真枪的考验

    运维体系管理16-线上环境建设,要扛得住真刀真枪的考验

    我们简单构建一张模型图来对线上环境作个展示:我在这两期文章中介绍了这么多环境,我们可以看到,环境建设是一项异常繁琐复杂的工作,这些工作不是一蹴而就,而是根据实际的场景和问题催生出来的,所以是个逐步渐进...

    2024-01-30 23:11:56
  • 家庭影院的Dolby音效如何设置

    Speaker Setup Guides for Your HomeSet up your home theater system to ensure optimum performance.  1.   Traditional surround  2.   Dolby ATMOS enabled

    2024-01-30 23:11:51
  • 关于Struts2返回XML,JSON格式配置记录

    Struts2返回XML格式 1.struts.xml里面的配置package extends="struts-default" 或者extends="json-defa...

    2024-01-30 23:11:22
  • OpenCV Java入门三 Mat的基本操作

    环境好了,我们就可以进入正文了。 在之前入门一、二中分别已经有画图的两个例子了。但没有细节展开我们的代码和OpenCV到底在干什么。 使用OpenCV时你需要补充的知识 你需要熟练使用Java Swi...

    2024-01-30 23:11:15
  • es6 模块的 导出 export { default } from 'foo';

    export { default } from 'foo';export的东西 是让本页面用的 是最终点是消费者

    2024-01-30 23:11:07