<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[appleYQL的博客]]></title><description><![CDATA[]]></description><link>https://blog.csdn.net/appleYQL</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; appleYQL]]></copyright><item><title><![CDATA[ArrayIndexOutOfBoundsException: 9 spark3写入数据到hive，使用hivesql读取异常]]></title><link>https://blog.csdn.net/appleYQL/article/details/154251822</link><guid>https://blog.csdn.net/appleYQL/article/details/154251822</guid><author>appleYQL</author><pubDate>Sat, 01 Nov 2025 21:39:22 +0800</pubDate><description><![CDATA[摘要：本文解决了CDH6.2.0环境中Spark3写入Hive后查询报错(ArrayIndexOutOfBoundsException)的问题。该异常是由于Spark3使用的ORC版本高于CDH6的Hive版本导致。作者提供了两种解决方案：1)修改Hive兼容高版本ORC(需替换OrcFile.class)，2)修改Spark3的ORC默认写入版本并重新编译ORC-core包。文章详细介绍了第二种方法的具体实施步骤，包括修改OrcFile.java源码关键参数、调整pom.xml仓库配置、使用mvnw编译等]]></description><category></category></item><item><title><![CDATA[hdfs同步sentry权限到文件系统acl异常，导致hdfs acl权限全部丢失]]></title><link>https://blog.csdn.net/appleYQL/article/details/144074436</link><guid>https://blog.csdn.net/appleYQL/article/details/144074436</guid><author>appleYQL</author><pubDate>Wed, 27 Nov 2024 14:52:59 +0800</pubDate><description><![CDATA[集群是CDH6.2.0，权限使用sentry鉴权，一次hadoop修改配置重启后出现，无论是使用hive客户端还是直接加载文件进去都是提示文件权限问题，使用访问hiveserver2的服务是正常的(hiveserver2正常应该是鉴权是在sentry，鉴权完成后使用hive用户访问)，查看了sentry上面的赋权，权限是正常的，再查看hdfs文件系统上面的目录和文件，发现acl权限全部丢失。]]></description><category></category></item><item><title><![CDATA[pyflink实时消费带kerberos的kafka数据落地mysql]]></title><link>https://blog.csdn.net/appleYQL/article/details/137113887</link><guid>https://blog.csdn.net/appleYQL/article/details/137113887</guid><author>appleYQL</author><pubDate>Thu, 28 Mar 2024 17:33:46 +0800</pubDate><description><![CDATA[cdh6.2.0 kafka flink kerberos]]></description><category></category></item><item><title><![CDATA[记录hive on spark缺少包ClassNotFoundException: org.antlr.runtime.tree.CommonTree的异常解决]]></title><link>https://blog.csdn.net/appleYQL/article/details/130114384</link><guid>https://blog.csdn.net/appleYQL/article/details/130114384</guid><author>appleYQL</author><pubDate>Wed, 12 Apr 2023 19:23:05 +0800</pubDate><description><![CDATA[ClassNotFoundException: org.antlr.runtime.tree.CommonTree]]></description><category></category></item><item><title><![CDATA[hive orc varchar乱码问题]]></title><link>https://blog.csdn.net/appleYQL/article/details/120804636</link><guid>https://blog.csdn.net/appleYQL/article/details/120804636</guid><author>appleYQL</author><pubDate>Sat, 16 Oct 2021 21:52:27 +0800</pubDate><description><![CDATA[1、问题产生的原因
作者使用的cdh版本是6.2.0，hive版本是2.1.0，原因是hive查询orc格式的varchar字段的时候没有指定编码，使用了默认编码，默认的编码不是utf-8引起的，具体可以参考这篇大佬源码追踪的文章，链接是:hive中文字段乱码排查
2、解决方法
2.1 hive on mapreduce解决
其实上面的链接有大佬给出的解决方法，有挺多的，可以出现打包，不过比较简单和推荐的还是直接在cm界面修改一下配置文件，指定am，maptask和reducetask的运行编码格式
在后面]]></description><category></category></item><item><title><![CDATA[metabase v1.38.1 使用ldap认证]]></title><link>https://blog.csdn.net/appleYQL/article/details/119180780</link><guid>https://blog.csdn.net/appleYQL/article/details/119180780</guid><author>appleYQL</author><pubDate>Wed, 28 Jul 2021 16:19:41 +0800</pubDate><description><![CDATA[前言
因为公司采用metabase作为自助式报表工具，为了方便开放给公司的人员使用，避免频繁的手工录入，遂接入公司已有的ldap作为统一认证

一、ldap是什么？
ldap是一种轻量目录访问协议，数据存储是以树结构存储的，读取速度快，但不方便写入。(这里还是要了解一下ldap的概念的)
可以参考一下这两个:
ldap中文网
ldap官网
二、配置metabase使用ldap认证
metabase是支持ldap认证的，我们只需要上web界面配置即可。但是metabse配置ldap基本没有日志打印，所以可能出]]></description><category></category></item><item><title><![CDATA[2021-07-07]]></title><link>https://blog.csdn.net/appleYQL/article/details/118559507</link><guid>https://blog.csdn.net/appleYQL/article/details/118559507</guid><author>appleYQL</author><pubDate>Wed, 07 Jul 2021 23:35:15 +0800</pubDate><description><![CDATA[Presto windows环境源码编译 0.257版本一、编译前准备二、编译源码
一、编译前准备
1、拉取代码
仓库地址是:https://github.com/prestodb/presto.git
2、安装cygwin
cygwin官网
在官网下载cygwin，安装好后在windows环境变量的Path加上cygwin的bin路径。
ps:没装cygwin可能会报有些命令找不到的错，例如:Cannot run program “chmod”: CreateProcess error=2
3、重新编译p]]></description><category></category></item><item><title><![CDATA[idea 使用Build Artifacts打包可执行的jar包出现:错误：找不到或无法加载主类 com.xxx.xxx]]></title><link>https://blog.csdn.net/appleYQL/article/details/112971493</link><guid>https://blog.csdn.net/appleYQL/article/details/112971493</guid><author>appleYQL</author><pubDate>Thu, 21 Jan 2021 21:02:27 +0800</pubDate><description><![CDATA[背景是博主想把在idea下面的项目包括依赖打包进可执行的jar（有很多种方式，maven，ant都行），在网上找了一遍教程，最后觉得直接使用idea打包最快（内网使用maven没有源真的痛苦）。
1、遇到问题
按照网上的方法，一路顺风顺水，配好main方法，配置META-INF路径（这个很重要），完全没有一点错误，顺顺利利把jar打好。你以为这就完事了？you are to simple。打完包后开开心心的在windows上输入cmd召唤出命令行，满怀信心的的敲上java -jar xxxx.jar，然后屏]]></description><category></category></item><item><title><![CDATA[BIEE使用Go Path Navigate带参数访问中文编码的问题]]></title><link>https://blog.csdn.net/appleYQL/article/details/84961278</link><guid>https://blog.csdn.net/appleYQL/article/details/84961278</guid><author>appleYQL</author><pubDate>Tue, 11 Dec 2018 20:31:30 +0800</pubDate><description><![CDATA[1、起因
因为项目工作的需要，需要在一个系统对接biee报表且参数的提示器要放在本系统，因此参考之后无法使用仪表盘带提示器的方法解决。综合之后决定使用Go?&amp;amp;Path=xxxxxx&amp;amp;Action=xxxxx的url在后台通过拼接参数的方法解决问题。
具体的操作可以参考这个网站(非常详细的拼接教程):参数拼接教程
2、问题
因为有部分的过滤器需要传入的参数带有中文的，所以一开始尝试的...]]></description><category></category></item><item><title><![CDATA[记一次redis的诡异报错]]></title><link>https://blog.csdn.net/appleYQL/article/details/82697347</link><guid>https://blog.csdn.net/appleYQL/article/details/82697347</guid><author>appleYQL</author><pubDate>Fri, 14 Sep 2018 09:25:23 +0800</pubDate><description><![CDATA[错误信息如下:AnnotationFormatError: Invalid default: public abstract java.lang.Class org.springframework.data.redis.repository.configuration.EnableRedisRepositories.repositoryFactoryBeanClass()

java.lang.a...]]></description><category></category></item><item><title><![CDATA[mysql5.7+ window解压缩版安装教程]]></title><link>https://blog.csdn.net/appleYQL/article/details/82027522</link><guid>https://blog.csdn.net/appleYQL/article/details/82027522</guid><author>appleYQL</author><pubDate>Sat, 25 Aug 2018 01:53:27 +0800</pubDate><description><![CDATA[一、软件下载mysql社区版下载地址 
 
选择5.7版本的下载，进去之后选择window-64位，下载mysql-5.7.xxx-winx64.zip 
二、将.zip文件解压缩,并配置mysql 
1、解压后目录: 
 
2、创建data文件夹和my.ini目录 
 
在my.ini添加一下配置:

[client]
#端口号
port = 3306

[mysql]
#字符编码
defaul...]]></description><category></category></item></channel></rss>