<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[阿正的博客]]></title><description><![CDATA[专注大数据、云计算]]></description><link>https://blog.csdn.net/lvtula</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; lvtula]]></copyright><item><title><![CDATA[2021-05-26]]></title><link>https://blog.csdn.net/lvtula/article/details/117295596</link><guid>https://blog.csdn.net/lvtula/article/details/117295596</guid><author>lvtula</author><pubDate>Wed, 26 May 2021 16:17:54 +0800</pubDate><description><![CDATA[hive报错整理之Malformed ORC file 、Invalid postscript.

将本地文件的数据加载到hive的ORC格式表时，出现以下报错：

Diagnostic Messages for this Task:
Error: java.io.IOException: java.lang.reflect.InvocationTargetException
    at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.h...]]></description><category></category></item><item><title><![CDATA[Error: A JNI error has occurred, please check your installation and try again]]></title><link>https://blog.csdn.net/lvtula/article/details/108043889</link><guid>https://blog.csdn.net/lvtula/article/details/108043889</guid><author>lvtula</author><pubDate>Sun, 16 Aug 2020 21:15:15 +0800</pubDate><description><![CDATA[1、先检查是否是java -version与javac -version一致

2、IDEA的maven依赖profiles 是否对add-dependencies-for-IDEA选中对勾
]]></description><category></category></item><item><title><![CDATA[Phoenix创建二级索引]]></title><link>https://blog.csdn.net/lvtula/article/details/105774592</link><guid>https://blog.csdn.net/lvtula/article/details/105774592</guid><author>lvtula</author><pubDate>Sun, 26 Apr 2020 18:28:48 +0800</pubDate><description><![CDATA[为什么需要Secondary Index

对于HBase而言，如果想精确地定位到某行记录，唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据，就必须逐行地比较每一列的值，即全表扫瞄。对于较大的表，全表扫瞄的代价是不可接受的。

但是，很多情况下，需要从多个角度查询数据。例如，在定位某个人的时候，可以通过姓名、身份证号、学籍号等不同的角度来查询，要想把这么多角度的数据都放到row...]]></description><category></category></item><item><title><![CDATA[Hive调优策略——并行执行、严格模式、JVM重用、压缩、设置mapper和reducer个数 & 小文件合并]]></title><link>https://blog.csdn.net/lvtula/article/details/105728050</link><guid>https://blog.csdn.net/lvtula/article/details/105728050</guid><author>lvtula</author><pubDate>Fri, 24 Apr 2020 12:18:27 +0800</pubDate><description><![CDATA[目录

1. 并行执行

2. 严格模式

3. JVM重用

4. 压缩

（1）开启Map输出阶段压缩（snappy压缩）

（2）开启Reduce输出阶段压缩（snappy压缩）

5. 合理设置Map和Reduce个数

（1）小文件过多，减少map数

（2）小文件进行合并

（3）文件比较大、文件处理逻辑复杂，增大map数

（4）合理设置Reduce个数

（1）开启Map输出阶段压...]]></description><category></category></item><item><title><![CDATA[快速排序（java实现）]]></title><link>https://blog.csdn.net/lvtula/article/details/105467042</link><guid>https://blog.csdn.net/lvtula/article/details/105467042</guid><author>lvtula</author><pubDate>Sun, 12 Apr 2020 11:56:12 +0800</pubDate><description><![CDATA[高快省的排序算法

有没有既不浪费空间又可以快一点的排序算法呢？那就是“快速排序”啦！光听这个名字是不是就觉得很高端呢。

假设我们现在对“6 1 2 7 9 3 4 5 10 8”这个10个数进行排序。首先在这个序列中随便找一个数作为基准数（不要被这个名词吓到了，就是一个用来参照的数，待会你就知道它用来做啥的了）。为了方便，就让第一个数6作为基准数吧。接下来，需要将这个序列中所有比基准数大的数放...]]></description><category></category></item><item><title><![CDATA[NLP处理-Spark中的HashTF与CountVectorizer模型]]></title><link>https://blog.csdn.net/lvtula/article/details/105242498</link><guid>https://blog.csdn.net/lvtula/article/details/105242498</guid><author>lvtula</author><pubDate>Wed, 01 Apr 2020 11:51:49 +0800</pubDate><description><![CDATA[http://spark.apache.org/docs/latest/ml-features.html#tf-idf

import org.apache.spark.ml.feature._
import org.apache.spark.ml.linalg.SparseVector
import org.apache.spark.sql.SparkSession

import scala...]]></description><category></category></item><item><title><![CDATA[spark 密集向量和稀疏向量]]></title><link>https://blog.csdn.net/lvtula/article/details/105242348</link><guid>https://blog.csdn.net/lvtula/article/details/105242348</guid><author>lvtula</author><pubDate>Wed, 01 Apr 2020 11:50:42 +0800</pubDate><description><![CDATA[1、概念

稀疏向量和密集向量都是向量的表示方法 密集向量和稀疏向量的区别： 密集向量的值就是一个普通的Double数组 而稀疏向量由两个并列的 数组indices和values组成 例如：向量(1.0,0.0,1.0,3.0)用密集格式表示为[1.0,0.0,1.0,3.0]， 用稀疏格式表示为(4,[0,2,3],[1.0,1.0,3.0]) 第一个4表示向量的长度(元素个数)，[0,2,3]...]]></description><category></category></item><item><title><![CDATA[Spark：基于jieba分词的特征向量提取]]></title><link>https://blog.csdn.net/lvtula/article/details/105128774</link><guid>https://blog.csdn.net/lvtula/article/details/105128774</guid><author>lvtula</author><pubDate>Thu, 26 Mar 2020 21:40:51 +0800</pubDate><description><![CDATA[基于jieba分词的对计算机课程名的特征向量提取

首先引入包：

import org.apache.spark.sql.{DataFrame, SparkSession}//spark入口,DataFrame操作需要用到的包
import java.nio.file.{Path, Paths}//加入自定义词库时路径需要的包

import com.huaban.analysis.jieba...]]></description><category></category></item><item><title><![CDATA[结巴分词5--关键词抽取]]></title><link>https://blog.csdn.net/lvtula/article/details/105118498</link><guid>https://blog.csdn.net/lvtula/article/details/105118498</guid><author>lvtula</author><pubDate>Thu, 26 Mar 2020 14:42:54 +0800</pubDate><description><![CDATA[作者：zhbzz2007 出处：http://www.cnblogs.com/zhbzz2007欢迎转载，也请保留这段声明。谢谢！

1 简介

关键词抽取就是从文本里面把跟这篇文档意义最相关的一些词抽取出来。这个可以追溯到文献检索初期，当时还不支持全文搜索的时候，关键词就可以作为搜索这篇论文的词语。因此，目前依然可以在论文中看到关键词这一项。

除了这些，关键词还可以在文本聚类、分类、自动摘要...]]></description><category></category></item><item><title><![CDATA[linux 命令批量修改文件内容中某字段]]></title><link>https://blog.csdn.net/lvtula/article/details/104939386</link><guid>https://blog.csdn.net/lvtula/article/details/104939386</guid><author>lvtula</author><pubDate>Wed, 18 Mar 2020 10:47:21 +0800</pubDate><description><![CDATA[测试文件的内容



复制多个测试文件（批量修改）



一个四个测试文件，看效果就行



两种方法修改

1.perl命令替换

格式: perl -p -i -e "s/修改的字段/新字段/g" 文件名（别的路径下需加好路径）



perl -p -i -e "s/123/888/g" test1.txt test2.txt

说明：将test1.txt和test2.txt中的123替换...]]></description><category></category></item><item><title><![CDATA[hive按当天日期建立分区表 | 动态往日期分区插入数据]]></title><link>https://blog.csdn.net/lvtula/article/details/104776588</link><guid>https://blog.csdn.net/lvtula/article/details/104776588</guid><author>lvtula</author><pubDate>Tue, 10 Mar 2020 16:05:14 +0800</pubDate><description><![CDATA[hive建立分区表，以当天日期（“2014-08-15”）作为分区依据，hql如下：

CREATE EXTERNAL TABLE IF NOT EXISTS product_sell(
category_id BIGINT,
province_id BIGINT,
product_id BIGINT,
price DOUBLE,
sell_num BIGINT
)
PARTITIONED BY ...]]></description><category></category></item><item><title><![CDATA[es+spark 读取es中的自定义格式日期时报异常]]></title><link>https://blog.csdn.net/lvtula/article/details/104683263</link><guid>https://blog.csdn.net/lvtula/article/details/104683263</guid><author>lvtula</author><pubDate>Thu, 05 Mar 2020 20:29:21 +0800</pubDate><description><![CDATA[问题描述：spark读取指定索引/类型的数据，其中有自定义格式的日期数据，读取该日期时报异常

User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 1.0 failed 4 times, most recent failure: ...]]></description><category></category></item><item><title><![CDATA[elasticsearch查询某个字段为空值的结果]]></title><link>https://blog.csdn.net/lvtula/article/details/104625976</link><guid>https://blog.csdn.net/lvtula/article/details/104625976</guid><author>lvtula</author><pubDate>Tue, 03 Mar 2020 09:45:03 +0800</pubDate><description><![CDATA[传统sql查询返回某个字段为空值的结果写法是select * from 表名 where 字段名 is null

在elasticsearch中查询语句为

GET index/type/_search

{
 "query": {
  "bool": {
   "must_not": {
    "exists": {
     "field": "字段名"
...]]></description><category></category></item><item><title><![CDATA[Elasticsearch出现circuit_breaking_exception异常]]></title><link>https://blog.csdn.net/lvtula/article/details/104319888</link><guid>https://blog.csdn.net/lvtula/article/details/104319888</guid><author>lvtula</author><pubDate>Fri, 14 Feb 2020 21:25:27 +0800</pubDate><description><![CDATA[1. 产生Data too large异常


异常如下：CircuitBreakingException[[FIELDDATA] Data too large, data for [proccessDate] would be larger than limit of [xxxgb]


经排查，原来是ES默认的缓存设置让缓存区只进不出引起的，具体分析一下。

2. ES缓存区概述


首先简单...]]></description><category></category></item><item><title><![CDATA[error:Elasticsearch exception [type=illegal_argument_exception, reason=Limit of total fields [1000]]]></title><link>https://blog.csdn.net/lvtula/article/details/104307210</link><guid>https://blog.csdn.net/lvtula/article/details/104307210</guid><author>lvtula</author><pubDate>Fri, 14 Feb 2020 10:17:49 +0800</pubDate><description><![CDATA[说的就是一个索引里面的fiedls的个数超过1000了，估计这个默认值是1000，这个时候，调大这个值，就能处理这个问题啦。

上面的图就是 使用 curl 命令来处理这个问题。

上面的图就是 使用 curl 命令来处理这个问题。


curl -XPUT http://192.168.1.136:9200/出问题的那个索引名称/_settings -d '{"index.mappin...]]></description><category></category></item><item><title><![CDATA[TiDB 2.0 kill会话]]></title><link>https://blog.csdn.net/lvtula/article/details/103875449</link><guid>https://blog.csdn.net/lvtula/article/details/103875449</guid><author>lvtula</author><pubDate>Tue, 07 Jan 2020 15:28:17 +0800</pubDate><description><![CDATA[运行环境：


在tiDB中国目前的版本家索引很费时间，对磁盘的IO影响较大，若在加索引的时候可以考虑kill掉会话。
待空闲时间在加索引。
1.准备单表1000万条记录：
sysbench
2.执行添加字段和索引的语句：
alter table benchmark1.sbtest1 add column datetime NOT NULL DEFAULT CURRENT_TIMESTAMP...]]></description><category></category></item><item><title><![CDATA[Scala操作MySQL数据库]]></title><link>https://blog.csdn.net/lvtula/article/details/103762059</link><guid>https://blog.csdn.net/lvtula/article/details/103762059</guid><author>lvtula</author><pubDate>Mon, 30 Dec 2019 10:22:52 +0800</pubDate><description><![CDATA[一、工具IDEA+MAVEN

二、Pom文件添加依赖
1、更改成自己的scala版本

&lt;properties&gt;
  &lt;scala.version&gt;2.11.8&lt;/scala.version&gt;
 &lt;/properties&gt;

2、添加驱动依赖

&lt;dependency&gt;
   &lt;groupId&gt;mysql&lt...]]></description><category></category></item><item><title><![CDATA[Spark写入elasticsearch报错Could not write all entries for bulk operation以及Connection error]]></title><link>https://blog.csdn.net/lvtula/article/details/103477221</link><guid>https://blog.csdn.net/lvtula/article/details/103477221</guid><author>lvtula</author><pubDate>Tue, 10 Dec 2019 15:59:31 +0800</pubDate><description><![CDATA[问题:org.elasticsearch.hadoop.EsHadoopException: Could not write all entries for bulk operation以及Connection error

解决方法:

添加参数

val conf = new SparkConf();
conf.set("es.nodes", elasticsearch_nodes);
con...]]></description><category></category></item><item><title><![CDATA[Postman 使用方法详解-终极教程最全]]></title><link>https://blog.csdn.net/lvtula/article/details/103136435</link><guid>https://blog.csdn.net/lvtula/article/details/103136435</guid><author>lvtula</author><pubDate>Tue, 19 Nov 2019 10:07:15 +0800</pubDate><description><![CDATA[一、Postman背景介绍

用户在开发或者调试网络程序或者是网页B/S模式的程序的时候是需要一些方法来跟踪网页请求的，用户可以使用一些网络的监视工具比如著名的Firebug等网页调试工具。今天给大家介绍的这款网页调试工具不仅可以调试简单的css、html、脚本等简单的网页基本信息，它还可以发送几乎所有类型的HTTP请求！Postman在发送网络HTTP请求方面可以说是Chrome插件类产品中的代...]]></description><category></category></item><item><title><![CDATA[es第十篇：Elasticsearch for Apache Hadoop]]></title><link>https://blog.csdn.net/lvtula/article/details/103069617</link><guid>https://blog.csdn.net/lvtula/article/details/103069617</guid><author>lvtula</author><pubDate>Thu, 14 Nov 2019 16:22:19 +0800</pubDate><description><![CDATA[es for apache hadoop(elasticsearch-hadoop.jar)允许hadoop作业(mapreduce、hive、pig、cascading、spark)与es交互。

At the core, elasticsearch-hadoop integrates two distributed systems: Hadoop, a distributed computin...]]></description><category></category></item></channel></rss>