大数据之FlinkCDC

最近在做FLinkCDC数据实时同步的数据抽取处理

目标:

 将源端系统Oracle数据库的实时数据通过FLINKCDC的形式抽取到Doris中

问题:

在抽取的过程中,如果表的数据量太大,抽取超过30张表以后,所有的任务大概运行25~30分钟以后,所有的任务的状态会从running 变为 Failed.

解决方案:

  1.第一解决方案(没有解决掉)

  当时通过排查任务发现,我们的Flink部署搭建是通过采用Flink StandAlone HA的模式,有三台服务器,当提交任务到主节点以后,发现主节点上的任务运行大概30分钟的时候,服务器的cpu利用率大概是4250%,导致任务宕机.

  所以我们采取的措施是: 将服务器升级,从原本的32核任务扩展到64核,但是升级以后,发现任务运行一段时间以后,还是变成Faild状态

第二种解决方案:(暂时解决掉,生效)

 步骤:

 1.第一次将全量数据在Dinky中通过JDBC的方式全量抽取过来

  2.在启动全量抽取数据的同时,启动FlinkCDC的增量模式,进行增量数据的抽取

具体方案如下:

  全量抽取:

create table  xxx(

    `ID` STRING ,

    //建表语句

    primary key (ID) not enforced

  )

with

  (

    'connector' = 'jdbc',

    'url' = 'jdbc:oracle:thin:@ip:1521/orcl',

    'driver' = 'oracle.jdbc.driver.OracleDriver',

    'username' = 'xxx',

    'password' = ''xxx,

    'table-name' = '表名'

  );

//Doris建表

create table xxx(

    `id` string ,

     //建表语句

    primary key (id) not enforced

  )

WITH

  (

    'connector' = 'doris',

    'fenodes' = '10.100.XXX:8030',

    'table.identifier' = '表名',

    'username' = 'root',

    'password' = 'xxx,

    'sink.properties.format' = 'json',

    'sink.properties.read_json_by_line' = 'true',

    'sink.label-prefix' = '5410923'

);

insert into  xxx

select * from xxxx;

2.增量抽取

  

create table  xxxx (
    `ID` STRING ,
xxxx
    primary key (`ID`) not enforced
  )
with
  (
    'connector' = 'oracle-cdc',
    'hostname' = 'xxx',
    'port' = '1521',
    'username' = 'xxx',
    'password' = 'Log#xxx',
    'database-name' = 'ORCL',
    'schema-name' = 'xxxx',
    'table-name' = 'xxxx',
    #增量模式
    'scan.startup.mode' = 'latest-offset',    
    'debezium.log.mining.strategy' = 'online_catalog',
    'scan.incremental.snapshot.chunk.key-column' = 'ID',
    'debezium.errors.max.retries' = '3',
    'debezium.log.mining.continuous.mine' = 'true',
    'debezium.database.tablename.case.insensitive' = 'false'
  );

create table xxxx (
    `id` string ,

    primary key (`id`) not enforced
  )
WITH
  (
    #同全量语句
);

结果:


 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/766674.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

BitLocker 的作用是什么?如何开启或者关闭它?

BitLocker 是什么 BitLocker 是一种全盘加密(FDE)技术,最早在 Windows Vista 中引入,并在后续版本的 Windows 中得到了持续改进。BitLocker 使用高级加密标准(AES)来加密整个磁盘分区,确保只有…

国产集成DSP内核无线音频传输的无线接收芯片U1R32D

国产集成DSP内核无线音频传输的无线接收芯片 - U1R32D,是一款用于无线音频传输的接收芯片,配合无线发射芯片完成高品质无线音频传输。射频工作范围为UHF的500M~980MHz之间。由于集成了DSP内核及必要的外设,单芯片集成度高,性价比好…

电商控价:系统监测的必要性与优势

在品牌的发展进程中,会遭遇各种各样的渠道问题,控价乃是其中颇为关键的一环。品牌进行控价的目的无疑是为了妥善治理低价链接,低价链接的发现途径可以是人工,也可以是系统。力维网络在为上百个品牌提供服务的过程中察觉到&#xf…

前端FCP指标优化

优化前 第三方依赖按需引入之后,打包的总体积减小到初始值的55%,但是依然存在很大的js文件,需要继续优化 chunk-vendors.js进行分包之后 截图 compression-webpack-plugin压缩之后 截图

帕金森病患者常见的心理问题有哪些?

帕金森病患者中约有40%~55%出现抑郁症状,早期发现和干预治疗对于改善患者的生活质量至关重要。 帕金森病患者常见的心理问题主要包括以下几点: 情绪变化:患者可能会经历抑郁、焦虑、烦躁等不良情绪,这些情绪变化可能与疾病的进展…

HarmonyOS Next系列之Echarts图表组件(折线图、柱状图、饼图等)实现(八)

系列文章目录 HarmonyOS Next 系列之省市区弹窗选择器实现(一) HarmonyOS Next 系列之验证码输入组件实现(二) HarmonyOS Next 系列之底部标签栏TabBar实现(三) HarmonyOS Next 系列之HTTP请求封装和Token…

KEYSIGHT N1092系列,DCA-M系列采样示波器连接与自检?

KEYSIGHT N1092系列 采样示波器,虽然省去了屏幕和操作系统,但根据不同的型号,可以配备不同数量的光口和电口,满足各种测试需求。本次介绍的具体型号为N1092D,它拥有4个光口,能够进行多种测试。 测试步骤详解…

UG NX二次开发(C++)-根据草图创建拉伸特征(UFun+NXOpen)

1、前言 UG NX是基于特征的三维建模软件,其中拉伸特征是一个很重要的特征,有读者问如何根据草图创建拉伸特征,我在这篇博客中讲述一下草图创建拉伸特征的UG NX二次开发方法,感兴趣的可以加入QQ群:749492565,或者在评论区留言。 2、在UG NX中创建草图,然后创建拉伸特征 …

OpenStack开源虚拟化平台(二)

目录 三、对象存储服务Swift(一)Swift特性(二)应用场景(三)Swift主要组件(四)Swift基本原理(五)实例分析 四、镜像服务Glance(一)Glan…

PostgreSQL的pg_filedump工具

PostgreSQL的pg_filedump工具 基础信息 OS版本:Red Hat Enterprise Linux Server release 7.9 (Maipo) DB版本:16.2 pg软件目录:/home/pg16/soft pg数据目录:/home/pg16/data 端口:5777pg_filedump 是一个工具&#x…

ubuntu运行qq音乐闪退

ubuntu运行qq音乐闪退 修改/usr/share/applications中的qqmusic.desktop,在Exec后加上 --no-sandbox,如下图所示: 该文件有可能是只读,权限不够的话用sudo vim qqmusic.desktop

PyCharm远程开发

PyCharm远程开发 1- 远程环境说明 每个人的本地电脑环境差别很大。各自在自己电脑上开发功能,测试/运行正常。但是将多个人的代码功能合并,运行服务器上,会出现各种版本兼容性问题。 在实际企业中,一般会有两套环境。第一套是测…

离子液体(ILs)在电化学领域应用前景广阔 海外企业占据全球市场主导地位

离子液体(ILs)在电化学领域应用前景广阔 海外企业占据全球市场主导地位 离子液体(ILs)又称离子性液体,指在室温或接近室温条件下,完全由阴阳离子组成的液态盐。与传统有机溶剂相比,离子液体具有…

短视频电商源码的优势及软件架构解析

短视频电商源码是目前电商行业中非常火热的一个新兴领域,它通过短视频内容和电商商品的结合,为用户提供了一种新的购物体验。下面将介绍短视频电商源码的优势以及软件架构。 首先,短视频电商源码具有以下几个优势: 1、创新的购物体…

观众为何偏爱采用多媒体互动技术的博物馆展览?

昔日踏入博物馆,映入眼帘的尽是静谧的展柜与沉默不语的展品,它们静静地诉说着过往的故事,却与参观者之间隔着一道无形的墙。但如今,想象力跨越了界限,多媒体互动技术如同魔法般降临,赋予这些历史遗珍以新的…

进程以及多线程编程

文章目录 什么是进程/任务(Process/Task)进程控制块抽象(PCB Process Control Block)PID(进程的 id /标识符)内存指针文件描述符表状态优先级上下文记账信息 线程(Thread)进程和线程的区别线程的优点: 多线程代码代码示例(继承Thread类的方式)sleep(休眠…

k8s部署单机版xxl-job

一、初始化数据库 https://github.com/xuxueli/xxl-job/blob/2.3.1/doc/db/tables_xxl_job.sql # # XXL-JOB v2.3.1 # Copyright (c) 2015-present, xuxueli.CREATE database if NOT EXISTS xxl_job default character set utf8mb4 collate utf8mb4_unicode_ci; use xxl_job;…

数据库安全:MySQL权限体系划分与实战操作

「作者简介」:冬奥会网络安全中国代表队,CSDN Top100,就职奇安信多年,以实战工作为基础著作 《网络安全自学教程》,适合基础薄弱的同学系统化的学习网络安全,用最短的时间掌握最核心的技术。 这一章节我们需…

第7章 Redis的噩梦:阻塞

文章目录 前言1 发现阻塞2.内在原因2.1API或数据结构使用不合理2.1.1如何发现慢查询2.1.2.如何发现大对象 2.2 CPU饱和2.3 持久化阻塞2.3.1fork阻塞2.3.2.AOF刷盘阻塞2.3.3.HugePage写操作阻塞 3 外在原因3.1CPU竞争3.2 内存交换3.3网络问题3.3.1连接拒绝 前言 Redis是典型的单…

【Altium】AD-PCB界面抬头显示设置

【更多软件使用问题请点击亿道电子官方网站】 1、 文档目标 PCB设计界面中抬头显示设置的方法 2、 问题场景 PCB设计界面中左上角有一个抬头显示悬浮窗口,这个窗口可以显示坐标,选中PCB中某个对象后还能显示它的具体信息。有用户不喜欢这个窗口&#x…