<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[samur2的博客]]></title><description><![CDATA[]]></description><link>https://blog.csdn.net/samur2</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; samur2]]></copyright><item><title><![CDATA[RTKlib操作手册--使用样例数据演示]]></title><link>https://blog.csdn.net/samur2/article/details/135605948</link><guid>https://blog.csdn.net/samur2/article/details/135605948</guid><author>samur2</author><pubDate>Mon, 15 Jan 2024 22:00:00 +0800</pubDate><description><![CDATA[本文将使用样例数据演示如何使用RTKLIB进行rtk差分定位。]]></description><category></category></item><item><title><![CDATA[两种高效计算 两个经纬度之间距离的方法--解决Haversine 公式性能慢的问题]]></title><link>https://blog.csdn.net/samur2/article/details/135378818</link><guid>https://blog.csdn.net/samur2/article/details/135378818</guid><author>samur2</author><pubDate>Thu, 04 Jan 2024 20:30:00 +0800</pubDate><description><![CDATA[最新开发的业务中，涉及到计算两个经纬度之间的距离。已知A点和B点的 经纬度，计算A点到B点之间的距离。最开始使用的是Haversine公式来进行计算，但上线后出现严重的性能问题，主要原因是业务数据量太大，每天PB级的数据量。因此，需要研究一个更高效便捷的计算方法，下面将介绍Haversine公式和实现代码，以及新的计算公式&代码，并对他们的性能及精度进行分析。]]></description><category></category></item><item><title><![CDATA[nifi详细介绍--一款开箱即用、功能强大可靠，可用于处理和分发数据的大数据组件]]></title><link>https://blog.csdn.net/samur2/article/details/135357544</link><guid>https://blog.csdn.net/samur2/article/details/135357544</guid><author>samur2</author><pubDate>Wed, 03 Jan 2024 20:15:00 +0800</pubDate><description><![CDATA[nifi 是一款开源的数据集成工具，由Apache软件基金会开发和维护。它是一个易于使用、功能强大且可靠的系统，用于处理和分发数据 的大数据数据组件。本文详细介绍了nifi的历史背景、工作原理、入门介绍、工作流程及实际应用场景和使用优势，帮助读者认识并入门这款强大的开源大数据组件。]]></description><category></category></item><item><title><![CDATA[flinkcdc 动态的增加新的同步表到同一个作业中]]></title><link>https://blog.csdn.net/samur2/article/details/130271113</link><guid>https://blog.csdn.net/samur2/article/details/130271113</guid><author>samur2</author><pubDate>Thu, 20 Apr 2023 17:45:31 +0800</pubDate><description><![CDATA[本文介绍了在flinkcdc 作业中，同一个作业如何实现动态新增表的功能。设想下假如你一个 CDC pipeline 监控了 4 张表，突然有天业务需求需要再加几张表，你肯定不想另起作业 (浪费资源)，那么这个feature 可以让你在当前作业直接增加需要监控的表。新增表都是先做全量再优雅地切换到增量，遇到新增监控表时不用新起作业，极大地节约了资源]]></description><category></category></item><item><title><![CDATA[如何使用 ChatGPT/open ai 接口 进行图片生成（绘画、图片创作）]]></title><link>https://blog.csdn.net/samur2/article/details/129935352</link><guid>https://blog.csdn.net/samur2/article/details/129935352</guid><author>samur2</author><pubDate>Mon, 03 Apr 2023 18:11:39 +0800</pubDate><description><![CDATA[本文介绍了如何使用chatgpt进行绘画，通过输入一句话，生成一张图片。]]></description><category></category></item><item><title><![CDATA[flink sql （jdbc）如何支持where 条件下推数据库]]></title><link>https://blog.csdn.net/samur2/article/details/129397379</link><guid>https://blog.csdn.net/samur2/article/details/129397379</guid><author>samur2</author><pubDate>Wed, 08 Mar 2023 11:11:52 +0800</pubDate><description><![CDATA[为了支持flink sql (jdbc)过滤条件下推，这里提供一些解决方案。最近在使用 flink sql （jdbc）做离线数据同步（历史数据修复），只同步几条数据的情况下，测试环境执行竟然需要30+分钟。进一步研究，发现where条件没有下推到数据库执行，而是全表读取。本文提供了2种解决办法。]]></description><category></category></item><item><title><![CDATA[flink sql 源码走读 --- 解释flink jdbc where 条件为什么没有下推数据库]]></title><link>https://blog.csdn.net/samur2/article/details/129366310</link><guid>https://blog.csdn.net/samur2/article/details/129366310</guid><author>samur2</author><pubDate>Tue, 07 Mar 2023 10:18:06 +0800</pubDate><description><![CDATA[本文通过一个具体案例，说明 flink sql 如何实现 connector 加载、source/sink 端操作、数据库连接等。可以帮助大家了解其原理，并在代码中找到落库执行SQL生成逻辑，得到where条件并没有下推到库执行的结论。]]></description><category></category></item><item><title><![CDATA[flink sql 执行慢问题排查（flink jdbc where 条件没有下推数据库）]]></title><link>https://blog.csdn.net/samur2/article/details/129185391</link><guid>https://blog.csdn.net/samur2/article/details/129185391</guid><author>samur2</author><pubDate>Thu, 23 Feb 2023 17:36:39 +0800</pubDate><description><![CDATA[本文主要介绍了 如何利用  jstack 定位问题，并通过断点了解到flink sql （flinksql）执行慢的原因，重在排查问题的技巧和思路。最终定位到 flink sql （jdbc）执行慢的原因是 因为sql中的 where条件没有下推到数据库执行，而是全量加载数据，在内存里过滤。]]></description><category></category></item><item><title><![CDATA[flinksql idea执行没问题，java -jar 或者 上传集群 执行报错（NoMatchingTableFactoryException） 解决办法]]></title><link>https://blog.csdn.net/samur2/article/details/129042706</link><guid>https://blog.csdn.net/samur2/article/details/129042706</guid><author>samur2</author><pubDate>Wed, 15 Feb 2023 15:08:27 +0800</pubDate><description><![CDATA[idea正常，上传集群报错Caused by: org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for 'org.....ExecutorFactory' in the classpath.   Reason: No factory implements 'org.apache.flink.table。提供2个可行的解决办法]]></description><category></category></item><item><title><![CDATA[flink jobmanager 启动失败，报错：taskexecutor.TaskExecutor-Could not resolve ResourceManager address]]></title><link>https://blog.csdn.net/samur2/article/details/128732721</link><guid>https://blog.csdn.net/samur2/article/details/128732721</guid><author>samur2</author><pubDate>Thu, 19 Jan 2023 14:00:45 +0800</pubDate><description><![CDATA[解决jobmanager启动失败问题：Remote connection to [null] failed with java.net.ConnectException: Connection refused: taskmanager/xxxx:6123
Could not resolve ResourceManager address akka.tcp://flink@taskmanager:6123/user/rpc/resourcemanager]]></description><category></category></item><item><title><![CDATA[spark sql 中的 笛卡尔积（cross join）优化方法--mapjoin]]></title><link>https://blog.csdn.net/samur2/article/details/128615695</link><guid>https://blog.csdn.net/samur2/article/details/128615695</guid><author>samur2</author><pubDate>Wed, 11 Jan 2023 20:15:00 +0800</pubDate><description><![CDATA[在编写sql代码时，需要尽量少使用 笛卡尔积，但是有些特殊场景下很难找到代替方案。这里分享了 在进行spark sql 编写任务作业时遇到笛卡尔积导致执行慢的问题，并记录了解决方案]]></description><category></category></item><item><title><![CDATA[mysql通过 表名、列名、字段名、注释 找到所在库 或者所在表]]></title><link>https://blog.csdn.net/samur2/article/details/128615728</link><guid>https://blog.csdn.net/samur2/article/details/128615728</guid><author>samur2</author><pubDate>Tue, 10 Jan 2023 19:15:00 +0800</pubDate><description><![CDATA[最近在开发过程中，由于涉及的库太多，有时候知道关联的列名 或者表名，找不到源库了。所以整理了下面的文章，希望对你有帮助。]]></description><category></category></item><item><title><![CDATA[使用COALESCE和REPARTITION解决SPARK SQL（hadoop） 小文件过多的问题]]></title><link>https://blog.csdn.net/samur2/article/details/128609575</link><guid>https://blog.csdn.net/samur2/article/details/128609575</guid><author>samur2</author><pubDate>Mon, 09 Jan 2023 20:15:00 +0800</pubDate><description><![CDATA[最近在做数仓宽表开发时，发现某些表的在hadoop（命令：hdfs dfs -ls）上小文件特别多，整体数据量不大，每个分区却有几百个小文件。一个小文件需要在nameNode中维护一份元数据（目录、大小、权限等信息） ，占用的资源是 150字节（Byte），100个小文件则占用 14.6KB。本文介绍如何使用 COALESCE 和 REPARTITION 来解决这种问题]]></description><category></category></item><item><title><![CDATA[使用kettle同步全量数据到Elasticsearch（es）--elasticsearch-bulk-insert-plugin应用]]></title><link>https://blog.csdn.net/samur2/article/details/128576164</link><guid>https://blog.csdn.net/samur2/article/details/128576164</guid><author>samur2</author><pubDate>Fri, 06 Jan 2023 19:00:00 +0800</pubDate><description><![CDATA[介绍了如何基于kettle的elasticsearch-bulk-insert-plugin插件将数据导入es。如果你的es版本是7及以上 或者设置了ssl 认证，kettle自带的插件是不支持的。这里提供了解决方案及简单应用的demo]]></description><category></category></item><item><title><![CDATA[mysql/oracle 数据库delete操作太慢（where ... in ...），不加索引，一招让性能提升百倍]]></title><link>https://blog.csdn.net/samur2/article/details/128530165</link><guid>https://blog.csdn.net/samur2/article/details/128530165</guid><author>samur2</author><pubDate>Tue, 03 Jan 2023 19:30:00 +0800</pubDate><description><![CDATA[delete操作应用虽然不多，但是有些场景使用起来还是更方便。所以对于一些大表，有时还是需要 硬删操作，也就是delete操作 。  delete from table_a where id in (select id from table_b); 不需要新增索引，经过sql 优化后性能提升了100倍]]></description><category></category></item><item><title><![CDATA[mysql 批量数据插入很慢（kettle 输入输出组件） 性能优化办法]]></title><link>https://blog.csdn.net/samur2/article/details/128471609</link><guid>https://blog.csdn.net/samur2/article/details/128471609</guid><author>samur2</author><pubDate>Thu, 29 Dec 2022 11:37:08 +0800</pubDate><description><![CDATA[最近在做数仓重构项目，遇到一些性能瓶颈，这里记录一下解决办法。随着业务数据每天都在增加，几年前开发的etl任务开始跑不动了。大表一般是通过增量的方式插入，但是修复bug 或者每月/季度跑一次的情况 需要跑全量，原来的etl任务可能需要跑几个小时，甚至出现超时失败的情况。因此需要优化，下面介绍一些优化方法。（项目是用kettle做的，如果使用其他开发工具，也可以参考下面的思路）1、配置数据库连接参数2、去掉临时表 DDL的primary key3、调整输出组件的数量4、暂时关闭索引。]]></description><category></category></item><item><title><![CDATA[如何将 txt、xlsx、excel 文件上传hive 或者 kudu]]></title><link>https://blog.csdn.net/samur2/article/details/125729739</link><guid>https://blog.csdn.net/samur2/article/details/125729739</guid><author>samur2</author><pubDate>Mon, 11 Jul 2022 20:59:55 +0800</pubDate><description><![CDATA[大数据开发过程中，难免需要上传手工数据到表中，这里介绍常见的几种上传方法。1、txt 上传hive
a、首先注意解决乱码问题，需要将txt另存成 udf-8。只需要用记事本打开，然后另存即可。

b、在hive上建表（txt 文件的数据是用 逗号 “,” 隔开的）
c、将 txt 文件上传到服务器中，然后执行下面的sql：
如果需要覆盖原来的table，执行下面的语句：
2、xlsx（excel ）表格类文件上传
a、先将文件另存为 .csv（逗号隔开） 文件

接下来的步骤 同上面 1、txt 上传hiv]]></description><category></category></item><item><title><![CDATA[MANUAL_FLUSH is enabled but the buffer is too big 解决办法 及 产生原因分析]]></title><link>https://blog.csdn.net/samur2/article/details/125660887</link><guid>https://blog.csdn.net/samur2/article/details/125660887</guid><author>samur2</author><pubDate>Fri, 08 Jul 2022 09:15:00 +0800</pubDate><description><![CDATA[org.apache.kudu.client.NonRecoverableException: MANUAL_FLUSH is enabled but the buffer is too big 报错根因及解决办法]]></description><category></category></item><item><title><![CDATA[基于explain分析进行SQL优化（实例分析）]]></title><link>https://blog.csdn.net/samur2/article/details/123280398</link><guid>https://blog.csdn.net/samur2/article/details/123280398</guid><author>samur2</author><pubDate>Fri, 04 Mar 2022 22:00:00 +0800</pubDate><description><![CDATA[背景
最近遇到一个问题，实现相同功能的几个 sql 不知道哪个最优。当然直接测试可以得到最终结论，但是还是不知道为啥慢，为啥快，还可以怎么样再进行优化？这些问题没有解决。下面通过一个实例来介绍下 sql 优化神器 Explain，它可以辅助进行 sql 优化。
案例
存在两张表，第一张表是item表（10w+），存储了人力资源分配单据的概要信息（存储了id、company_id、sn），第二张表是detail(1000w+)表，存储了人力资源分配单据的详细信息（存储了id、company_id、sn和per]]></description><category></category></item><item><title><![CDATA[浅谈 数仓建设之 数据同步（离线）及 sqoop、flume、dataX 原理简介]]></title><link>https://blog.csdn.net/samur2/article/details/123085994</link><guid>https://blog.csdn.net/samur2/article/details/123085994</guid><author>samur2</author><pubDate>Wed, 23 Feb 2022 15:25:25 +0800</pubDate><description><![CDATA[简介
在数仓建设中，数据同步是最基础的一步，也是 ods 层数据的来源。数据同步 简而言之，就是把 业务库中的需要分析的数据表（或文件） 同步到 数仓中（hdfs）。

同步的方式可以分为3种：直连同步、数据文件同步、数据库日志解析同步。
下面将进行详细介绍。
详解
1、直连同步

直连同步是指通过定义好的规范接口api 和动态链接库的方式直连业务库。
优点：配置简单，实现容易，比较适合操作型业务系统的数据同步。
缺点：1、直连的方式对源系统的性能影响较大，甚至可能拖垮业务系统；
2、数据量很大时，性能很差]]></description><category></category></item></channel></rss>