<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[yyoc97的专栏]]></title><description><![CDATA[]]></description><link>https://blog.csdn.net/yyoc97</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; yyoc97]]></copyright><item><title><![CDATA[本地 Flink on K8s + Iceberg + MinIO 实时数仓平台 — AI部署指南与踩坑实录]]></title><link>https://blog.csdn.net/yyoc97/article/details/161899574</link><guid>https://blog.csdn.net/yyoc97/article/details/161899574</guid><author>yyoc97</author><pubDate>Thu, 11 Jun 2026 18:03:41 +0800</pubDate><description><![CDATA[本文详细介绍了在 macOS 本地环境下搭建轻量级实时数仓平台的全过程。项目基于 Minikube 单集群，整合了 Apache Flink 1.19.1、Iceberg 1.10.2、MinIO 和 Kafka 等技术栈，实现 Kafka→Flink→Iceberg→MinIO 的数据流处理。文章包含环境准备、组件部署、核心配置及踩坑经验，重点解决了 Flink 与 Iceberg REST Catalog 的集成问题，并提供了端到端验证方案。所有组件资源控制在 4 CPU/6GB 内存内，适合本地开发测]]></description><category></category></item><item><title><![CDATA[Mac基于LLaMA Factory微调模型导入Ollama踩坑记录]]></title><link>https://blog.csdn.net/yyoc97/article/details/158009087</link><guid>https://blog.csdn.net/yyoc97/article/details/158009087</guid><author>yyoc97</author><pubDate>Thu, 12 Feb 2026 17:42:53 +0800</pubDate><description><![CDATA[Mac基于LLaMA Factory微调模型导入Ollama踩坑记录，完成大模型微调demo遇到的问题及最终效果]]></description><category></category></item><item><title><![CDATA[clickhouse（十五、存储优化实践）]]></title><link>https://blog.csdn.net/yyoc97/article/details/139475323</link><guid>https://blog.csdn.net/yyoc97/article/details/139475323</guid><author>yyoc97</author><pubDate>Wed, 05 Jun 2024 17:56:48 +0800</pubDate><description><![CDATA[clickhouse存储优化，多种方式测试验证]]></description><category></category></item><item><title><![CDATA[Flink cdc debug调试动态变更表结构]]></title><link>https://blog.csdn.net/yyoc97/article/details/136058801</link><guid>https://blog.csdn.net/yyoc97/article/details/136058801</guid><author>yyoc97</author><pubDate>Tue, 06 Feb 2024 17:40:46 +0800</pubDate><description><![CDATA[flink cdc debug动态变更表结构]]></description><category></category></item><item><title><![CDATA[Flink cdc3.0动态变更表结构——源码解析]]></title><link>https://blog.csdn.net/yyoc97/article/details/136045023</link><guid>https://blog.csdn.net/yyoc97/article/details/136045023</guid><author>yyoc97</author><pubDate>Mon, 05 Feb 2024 19:03:07 +0800</pubDate><description><![CDATA[Flink cdc 动态变更表结构的源码分析]]></description><category></category></item><item><title><![CDATA[Flink cdc3.0同步实例（动态变更表结构、分库分表同步）]]></title><link>https://blog.csdn.net/yyoc97/article/details/135104812</link><guid>https://blog.csdn.net/yyoc97/article/details/135104812</guid><author>yyoc97</author><pubDate>Wed, 20 Dec 2023 17:32:50 +0800</pubDate><description><![CDATA[基于 Flink CDC 3.0 同步 MySQL 到 Doris ，来体验整库同步、表结构变更同步和分库分表同步等功能。]]></description><category></category></item><item><title><![CDATA[clickhouse（十四、分布式DDL阻塞及同步阻塞问题）]]></title><link>https://blog.csdn.net/yyoc97/article/details/132432748</link><guid>https://blog.csdn.net/yyoc97/article/details/132432748</guid><author>yyoc97</author><pubDate>Tue, 22 Aug 2023 18:01:08 +0800</pubDate><description><![CDATA[验证处理clickhouse 分布式ddl和同步阻塞问题]]></description><category></category></item><item><title><![CDATA[Flink源码解析（一、source原理）]]></title><link>https://blog.csdn.net/yyoc97/article/details/128050201</link><guid>https://blog.csdn.net/yyoc97/article/details/128050201</guid><author>yyoc97</author><pubDate>Sun, 27 Nov 2022 12:55:41 +0800</pubDate><description><![CDATA[source/sink 是flink最核心的部分之一，通过对其实现原理的学习，结合源码debug，有助于加深对框架处理过程的理解，以及架构设计上的提升。]]></description><category></category></item><item><title><![CDATA[Iceberg （一、presto和trino实践——行级更新）]]></title><link>https://blog.csdn.net/yyoc97/article/details/127057214</link><guid>https://blog.csdn.net/yyoc97/article/details/127057214</guid><author>yyoc97</author><pubDate>Mon, 26 Sep 2022 19:15:34 +0800</pubDate><description><![CDATA[Iceberg 是一种用于大型分析表的高性能格式。Iceberg 为大数据带来了 SQL 表的可靠性和简单性，文章讲述 Presto/Trino对iceberg的入门实践]]></description><category></category></item><item><title><![CDATA[Debezium指定binlog位置初始化异常排查修复]]></title><link>https://blog.csdn.net/yyoc97/article/details/124828259</link><guid>https://blog.csdn.net/yyoc97/article/details/124828259</guid><author>yyoc97</author><pubDate>Tue, 17 May 2022 20:27:46 +0800</pubDate><description><![CDATA[文章目录异常现象如何复现排查定位线索定位
异常现象
最近项目需要使用Debezium指定binlog位置读取数据，当配置FileDatabaseHistory 保存offset就会出现无法识别schema异常。
14:52:18.237 [blc-9.135.12.10:3307] ERROR io.debezium.connector.mysql.MySqlStreamingChangeEventSource - Encountered change event 'Event{header=EventHe]]></description><category></category></item><item><title><![CDATA[Apache Druid（二、架构设计）]]></title><link>https://blog.csdn.net/yyoc97/article/details/119840901</link><guid>https://blog.csdn.net/yyoc97/article/details/119840901</guid><author>yyoc97</author><pubDate>Sat, 21 Aug 2021 17:47:39 +0800</pubDate><description><![CDATA[文章目录回顾架构 整体设计进程服务作用数据流数据生产数据查询查询的优化索引服务存储设计Datasrouces and segmentssegment设计 特殊数据结构命名设计实际物理存储Segment创建过程参考
回顾
上一篇提供druid的安装是很早的版本了 https://blog.csdn.net/yyoc97/article/details/88411429，目前druid的安装使用会更简洁些快速入门。因为现在接触的业务有使用到这个组件，今天我们再来学习下它整体的架构。
架构
 整体设计
这个是Dr]]></description><category></category></item><item><title><![CDATA[scala dataframe添加一列行号到开头]]></title><link>https://blog.csdn.net/yyoc97/article/details/116306044</link><guid>https://blog.csdn.net/yyoc97/article/details/116306044</guid><author>yyoc97</author><pubDate>Fri, 30 Apr 2021 16:35:00 +0800</pubDate><description><![CDATA[需求
项目有时候需要在dataframe开头添加字段，之前也没搜到好的案例。下面就写个相对简洁的方法。
实现
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.{col, monotonically_increasing_id}

object SparkTest4 {
  def main(args: Array[String]): Unit = {
    val sc = SparkSessio]]></description><category></category></item><item><title><![CDATA[DataX导数的坑]]></title><link>https://blog.csdn.net/yyoc97/article/details/111470793</link><guid>https://blog.csdn.net/yyoc97/article/details/111470793</guid><author>yyoc97</author><pubDate>Mon, 21 Dec 2020 12:19:20 +0800</pubDate><description><![CDATA[安装
按照Git Quick StartDownload 中的描述，选择直接点击DataX下载地址，然后解压执行自检脚本：    python {YOUR_DATAX_HOME}/bin/datax.py {YOUR_DATAX_HOME}/job/job.json，到这为止一切都是正常的。
异常
于是根据reader和writer的格式配置自己的json脚本。
{
    "core": {
         "transport" : {
              "channel": {
     ]]></description><category></category></item><item><title><![CDATA[clickhouse（十三、JDBC引擎）]]></title><link>https://blog.csdn.net/yyoc97/article/details/111320363</link><guid>https://blog.csdn.net/yyoc97/article/details/111320363</guid><author>yyoc97</author><pubDate>Fri, 18 Dec 2020 18:33:51 +0800</pubDate><description><![CDATA[准备
异常
Caused by: java.sql.SQLException: No suitable driver found for jdbc:postgresql://dev-111:5432/report?user=dev&amp;password=123456
        at java.sql.DriverManager.getConnection(DriverManager.java:689)
        at java.sql.DriverManager.getConnection(]]></description><category></category></item><item><title><![CDATA[scala cube聚合操作实例]]></title><link>https://blog.csdn.net/yyoc97/article/details/110875863</link><guid>https://blog.csdn.net/yyoc97/article/details/110875863</guid><author>yyoc97</author><pubDate>Tue, 08 Dec 2020 16:27:40 +0800</pubDate><description><![CDATA[前言
因为内部平台spark-sql不方便调优、配置资源的因素，某些情况还是会用到scala dateframe操作数据，今天记录一些关于聚合，count distinct多个字段，重名展示的一些示例。
数据准备
Jack2 22 20200405
Jack2 21 20200401
Jack2 21 20200401
Kate 22 20200406
Mi2ng 20 20200406

代码示例
def main(args: Array[String]): Unit = {
    val sc = S]]></description><category></category></item><item><title><![CDATA[scala（Row、Array、Tuple、Class、RDD、DF之间类型转换）]]></title><link>https://blog.csdn.net/yyoc97/article/details/109273555</link><guid>https://blog.csdn.net/yyoc97/article/details/109273555</guid><author>yyoc97</author><pubDate>Sun, 25 Oct 2020 15:34:17 +0800</pubDate><description><![CDATA[前言
spark中因为Rdd和Dataframe的一些分装函数处理，经常会遇到类型的相关转换，今天就记录些常见的几种类型转换。
Array =&gt; Row
val arr = Array("aa/2/cc/10","xx/3/nn/30","xx/3/nn/20")
// val row = Row.fromSeq(arr)
val row = RowFactory.create(arr)

Row =&gt; Array
val a:Array[Any] = row.toSeq.toArray

有时]]></description><category></category></item><item><title><![CDATA[spark数据倾斜处理实践]]></title><link>https://blog.csdn.net/yyoc97/article/details/109189907</link><guid>https://blog.csdn.net/yyoc97/article/details/109189907</guid><author>yyoc97</author><pubDate>Wed, 21 Oct 2020 21:28:48 +0800</pubDate><description><![CDATA[文章目录判断是否倾斜实践定位解决
判断是否倾斜
通过Spark Web UI查看运行到了哪个Stage。 主要看最慢的Stage各task里 Shuffle Write Size / Records分配的数据量，来确定是否是数据倾斜。
实践
定位

如图stage基本在几分钟内、而这个stage运行较长时间，却只有一个task没完成了。这种情况发生倾斜的概率就很大了。我们可以点到具体的stage中看下详情。

从DAG中我们可以看到有leftOuterJoin算子。所以任务必然有shuffle产生，接着继续]]></description><category></category></item><item><title><![CDATA[clickhouse（十二、踩坑之路）]]></title><link>https://blog.csdn.net/yyoc97/article/details/108576891</link><guid>https://blog.csdn.net/yyoc97/article/details/108576891</guid><author>yyoc97</author><pubDate>Mon, 14 Sep 2020 13:37:53 +0800</pubDate><description><![CDATA[Q1
DB::Exception: Cannot create table from metadata file /data/clickhouse/metadata/default/dwd_test.sql, error: DB::Exception: The local set of parts of table default.dwd_test doesn’t look like the set of parts in ZooKeeper: 65.88 million rows of 85.04 mi.]]></description><category></category></item><item><title><![CDATA[metabase常用指令]]></title><link>https://blog.csdn.net/yyoc97/article/details/108470454</link><guid>https://blog.csdn.net/yyoc97/article/details/108470454</guid><author>yyoc97</author><pubDate>Tue, 08 Sep 2020 16:39:23 +0800</pubDate><description><![CDATA[获取管理员session

curl -X POST -H "Content-Type: application/json" -d '{"username": "root@qq.com", "password": "root"}' http://127.0.0.1:3000/api/session

{"id":"c9ad042a-9481-4547-bd77-e83321e20f26"}% 


创建账号

将上面获取的id填到 X-Metabase-Session 中。 分组可以不填，如果填写grou.]]></description><category></category></item><item><title><![CDATA[clickhouse（十一、 实时分析优化AggregateFunction及物化视图 ）]]></title><link>https://blog.csdn.net/yyoc97/article/details/107800587</link><guid>https://blog.csdn.net/yyoc97/article/details/107800587</guid><author>yyoc97</author><pubDate>Tue, 04 Aug 2020 22:17:33 +0800</pubDate><description><![CDATA[文章目录AggregateFunction物化视图原理
AggregateFunction
AggregatingMergeTree就有些许数据立方体的意思，它能够在合并分区的时候，按照预先定义的条 件，聚合数据。同时，根据预先定义的聚合函数，计算数据并通过二进制的格式存入表内。将同一分组 下的多行数据，聚合成一行，既减少了数据行，又降低了后续聚合查询的开销。
-- 建表语句
CREATE TABLE agg_table( 
	id String,
	city String,
	code Aggregate]]></description><category></category></item></channel></rss>