<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[duyenson的博客]]></title><description><![CDATA[]]></description><link>https://blog.csdn.net/duyenson</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; duyenson]]></copyright><item><title><![CDATA[记一次java项目本地正常执行，打完包之后执行发现没有对应的类或配置的问题]]></title><link>https://blog.csdn.net/duyenson/article/details/135969270</link><guid>https://blog.csdn.net/duyenson/article/details/135969270</guid><author>duyenson</author><pubDate>Thu, 01 Feb 2024 12:02:02 +0800</pubDate><description><![CDATA[由于这个任务在yarn上运行的，且日志级别是warn的，导致没有过多的有用信息，只有执行程序的入参args，这个时候排查问题就需要将程序放在本地的开发工具，例如：IDEA中进行debug调试。这就更加让我确信就是这个文件内容的问题！线上有个spark的任务出了问题（该任务是通过sparkstreaming读取kafka中的数据，处理完之后推到es中），问题出在kafka中数据是有更新的，但是es中的对应索引中的数据却只更新到月初，因此我需要排查处理下这个问题。因此我先在本地跑下jar包看看结果。]]></description><category></category></item><item><title><![CDATA[Ubuntu配置GPU资源]]></title><link>https://blog.csdn.net/duyenson/article/details/135137013</link><guid>https://blog.csdn.net/duyenson/article/details/135137013</guid><author>duyenson</author><pubDate>Thu, 21 Dec 2023 17:56:06 +0800</pubDate><description><![CDATA[1.4. 检查驱动是否安装成功，并检查支持的cuda版本。3、下载pytorch验证GPU是否可用。1.1 查看推荐的驱动版本。1、安装nvidia驱动。1.2.安装指定版本。]]></description><category></category></item><item><title><![CDATA[解决Hive中文乱码问题]]></title><link>https://blog.csdn.net/duyenson/article/details/128023723</link><guid>https://blog.csdn.net/duyenson/article/details/128023723</guid><author>duyenson</author><pubDate>Thu, 24 Nov 2022 18:44:16 +0800</pubDate><description><![CDATA[hive中文编码问题]]></description><category></category></item><item><title><![CDATA[Postman：调用接口时返回 404 的排查方法]]></title><link>https://blog.csdn.net/duyenson/article/details/127923786</link><guid>https://blog.csdn.net/duyenson/article/details/127923786</guid><author>duyenson</author><pubDate>Fri, 18 Nov 2022 15:37:33 +0800</pubDate><description><![CDATA[Postman调用接口404]]></description><category></category></item><item><title><![CDATA[LINUX离线安装ftp服务]]></title><link>https://blog.csdn.net/duyenson/article/details/125726417</link><guid>https://blog.csdn.net/duyenson/article/details/125726417</guid><author>duyenson</author><pubDate>Thu, 28 Jul 2022 22:47:44 +0800</pubDate><description><![CDATA[linux离线安装ftp服务]]></description><category></category></item><item><title><![CDATA[LINUX安装Oracle11g]]></title><link>https://blog.csdn.net/duyenson/article/details/124957282</link><guid>https://blog.csdn.net/duyenson/article/details/124957282</guid><author>duyenson</author><pubDate>Wed, 25 May 2022 00:34:36 +0800</pubDate><description><![CDATA[一.准备工作
通过ftp工具上传安装包到linux服务器
1.1  上传oracle 11g安装文件到服务器并解压
cd /home   
unzip linux.x64_11gR2_database_1of2.zip
unzip linux.x64_11gR2_database_2of2.zip

1.2  在/etc/hosts文件中增加主机名，配置host文件
vim /etc/hosts

192.168.233.101 hadoop

1.3  关闭selinux
vim /etc/selinux]]></description><category></category></item><item><title><![CDATA[解决Hadoop在本地(windows)操作报错：Could not locate executable null\bin\winutils.exe in the Hadoop binaries.]]></title><link>https://blog.csdn.net/duyenson/article/details/119354780</link><guid>https://blog.csdn.net/duyenson/article/details/119354780</guid><author>duyenson</author><pubDate>Tue, 03 Aug 2021 17:45:50 +0800</pubDate><description><![CDATA[1、Hadoop错误信息：Failed to locate the winutils binary in the hadoop binary path. Could not locate executable null\bin\winutils.exe in the Hadoop binaries

2、原因：window本地无法获取hadoop的配置，报错是缺少winutils.exe程序。Hadoop都是运行在Linux系统下的，在windows下eclipse、Idea中运行mapreduce程序和操]]></description><category></category></item><item><title><![CDATA[HDFS存储机制]]></title><link>https://blog.csdn.net/duyenson/article/details/119352306</link><guid>https://blog.csdn.net/duyenson/article/details/119352306</guid><author>duyenson</author><pubDate>Tue, 03 Aug 2021 16:47:08 +0800</pubDate><description><![CDATA[1.HDFS 概念

HDFS（Hadoop Distributed File
System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。集群不一定是分布式的，但是分布式一定是集群。
HDFS 的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据 分析，并不适合用来做网盘应用。

2.HDFS 优缺点
1.优点
（1） 高容错性
a) 数据自动保存多个副本。它通过增加副本的形式，提高容错性；
b) ]]></description><category></category></item><item><title><![CDATA[kafka基础操作命令]]></title><link>https://blog.csdn.net/duyenson/article/details/119346991</link><guid>https://blog.csdn.net/duyenson/article/details/119346991</guid><author>duyenson</author><pubDate>Tue, 03 Aug 2021 11:53:15 +0800</pubDate><description><![CDATA[1.  查看当前服务器中的所有 topic
[root@datastudio02 kafka]$ bin/kafka-topics.sh --zookeeper datastudio02:2181 --list

2.  创建 topic
[root@datastudio02 kafka]$ bin/kafka-topics.sh --zookeeper datastudio02:2181 --create --replication-factor 3 --partitions 1 --topic firs]]></description><category></category></item><item><title><![CDATA[Hadoop YARN配置（RM与NM）相关参数]]></title><link>https://blog.csdn.net/duyenson/article/details/119039698</link><guid>https://blog.csdn.net/duyenson/article/details/119039698</guid><author>duyenson</author><pubDate>Fri, 23 Jul 2021 16:57:37 +0800</pubDate><description><![CDATA[配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。

ResourceManager相关配置参数

（1） yarn.resourcemanager.address
参数解释：ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。
默认值：${yarn.resourcemanager.hostname}:8032
（2） yarn.resourcemanager.scheduler]]></description><category></category></item><item><title><![CDATA[YARN 聚合日志配置]]></title><link>https://blog.csdn.net/duyenson/article/details/118994693</link><guid>https://blog.csdn.net/duyenson/article/details/118994693</guid><author>duyenson</author><pubDate>Thu, 22 Jul 2021 11:25:55 +0800</pubDate><description><![CDATA[1、 日志聚集介绍
MapReduce 是在各个机器上运行的， 在运行过程中产生的日志存在于各个机器上，为了能够统一查看各个机器的运行日志，将日志集中存放在 HDFS 上， 这个过程就是日志聚集。如果打开了日志聚合的选项，即yarn.log-aggregation-enable，container的日志会拷贝到hdfs上去，并从机器中删除。可以使用yarn logs -applicationId 命令，来查看日志yarn logs命令，会打印出application对应的所有container的日志出来，当]]></description><category></category></item><item><title><![CDATA[spark-submit的master参数以及Spark的部署方式]]></title><link>https://blog.csdn.net/duyenson/article/details/118895033</link><guid>https://blog.csdn.net/duyenson/article/details/118895033</guid><author>duyenson</author><pubDate>Mon, 19 Jul 2021 15:04:12 +0800</pubDate><description><![CDATA[spark-submit的master参数以及Spark的部署方式
参数说明




参数
说明




–master
集群的master地址。如：spark://host:port，mesos://host:port，yarn-client，yarn-cluster，local[k]本地以k个worker线程执行，k一般为cpu的内核数，local[*]以尽可能多的线程数执行。


那么这个参数该如何设定？首先我们需要知道spark有哪些部署方式。
我们要部署Spark这套计算框架，有多种方式，可以部署]]></description><category></category></item><item><title><![CDATA[SQL（一）基础]]></title><link>https://blog.csdn.net/duyenson/article/details/107200516</link><guid>https://blog.csdn.net/duyenson/article/details/107200516</guid><author>duyenson</author><pubDate>Sat, 11 Jul 2020 08:16:34 +0800</pubDate><description><![CDATA[一：相关概念

DB：数据库（database）：存储数据的仓库，保存一系列有组织的数据。
DBMS：数据库管理系统（database management system）：数据库是通过DBMS创建和操作的容器（又称数据库软件）。常见有：MySQL、Oracle、DB2、SqlServer等。
SQL：结构化查询语言（structure query language）：专门用来与数据库通信的语言。

二：初始MySQL
（一）、启动MySQL服务
启动：
方式1：计算机右击 ——&gt;管理——&gt;服务]]></description><category></category></item><item><title><![CDATA[启动Kylin出现的问题]]></title><link>https://blog.csdn.net/duyenson/article/details/106752510</link><guid>https://blog.csdn.net/duyenson/article/details/106752510</guid><author>duyenson</author><pubDate>Sun, 14 Jun 2020 22:24:11 +0800</pubDate><description><![CDATA[一、安装
1.从 Apache Kylin下载网站 下载一个适用于您 Hadoop 版本的二进制文件。或者点击下载
2.将下载好的压缩包上传到Linux上，并解压：

tar -zxvf apache-kylin-2.5.1-bin-hbase1x.tar.gz

3.改名：
mv apache-kylin-2.5.1-bin-hbase1x.tar.gz kylin-2.5.1

4.此时，kylin就安装成功，接下来需要配置kylin环境变量,编辑文件，（因为要用到hbase、hive、hadoop，所]]></description><category></category></item><item><title><![CDATA[谈谈C语言中的变量类型以及内存管理]]></title><link>https://blog.csdn.net/duyenson/article/details/106421024</link><guid>https://blog.csdn.net/duyenson/article/details/106421024</guid><author>duyenson</author><pubDate>Fri, 29 May 2020 16:05:40 +0800</pubDate><description><![CDATA[一、变量类型：
1.生命周期
指的是变量值保留的期限。按照生命周期，可将变量分为两类：静态变量和动态变量。
**静态变量：**静态变量存储在内存中的静态存储区，在编译的时候就分配了存储空间，在整个程序运行期间，该变量占有固定的内存单元，变量的值都始终存在，直到程序结束后，这部分空间才释放出来。因此，静态变量的生命周期为整个程序运行的时间。
动态变量： 动态变量存储在内存的动态存储区，在程序运行过程中·，只有当变量所有函数被调用时，编译系统才会临时为该变量分配一段内存单元，该变量才有值，函数调用结束，变量值立]]></description><category></category></item><item><title><![CDATA[创建HBase表出现 "xxxxx is disabled."]]></title><link>https://blog.csdn.net/duyenson/article/details/103600392</link><guid>https://blog.csdn.net/duyenson/article/details/103600392</guid><author>duyenson</author><pubDate>Wed, 18 Dec 2019 19:04:54 +0800</pubDate><description><![CDATA[用hbase shell 创建表的时候出现：“SearchCount is disabled”
hbase(main):002:0&gt; count 'SearchCount'

ERROR: org.apache.hadoop.hbase.DoNotRetryIOException: SearchCount is disabled.

Here is some help for this co...]]></description><category></category></item><item><title><![CDATA[运行SparkStreaming+kafka遇到的坑。。。]]></title><link>https://blog.csdn.net/duyenson/article/details/103460827</link><guid>https://blog.csdn.net/duyenson/article/details/103460827</guid><author>duyenson</author><pubDate>Mon, 09 Dec 2019 18:00:16 +0800</pubDate><description><![CDATA[在使用spark streaming消费Kafka实时流数据的时候，在idea上运行出现以下错误：
E:\Software_DevelopmentKit\Java\jdk1.8.0_212\bin\java.exe "-javaagent:E:\Software\Work\JetBrains\IDEA\IntelliJ IDEA 2019.3\lib\idea_rt.jar=51890:E:\So...]]></description><category></category></item><item><title><![CDATA[Kafka建立新的topic是出现ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException]]></title><link>https://blog.csdn.net/duyenson/article/details/103356480</link><guid>https://blog.csdn.net/duyenson/article/details/103356480</guid><author>duyenson</author><pubDate>Mon, 02 Dec 2019 20:35:01 +0800</pubDate><description><![CDATA[在kafka中创建新的topic时，
输入命令：
kafka-topics.sh --zookeeper node01:2181/kafka --create --replication-factor 1 --partitions 1 --topic t1

如果出现：
ERROR org.apache.kafka.common.errors.InvalidReplicationFactorExc...]]></description><category></category></item><item><title><![CDATA[Hive格式化失败]]></title><link>https://blog.csdn.net/duyenson/article/details/103207887</link><guid>https://blog.csdn.net/duyenson/article/details/103207887</guid><author>duyenson</author><pubDate>Fri, 22 Nov 2019 22:05:52 +0800</pubDate><description><![CDATA[初始化hive百度了一下是，输入后报错，如下：
[root@cluster-1 conf]# schematool -dbType mysql -initSchema
bash: schematool: 未找到命令…
于是我就通过yum命令安装嘛，出错，报错如下：
[root@cluster-1 conf]# yum -y install schematool
已加载插件：fastestmirro...]]></description><category></category></item><item><title><![CDATA[IDEA开发Spark提示：Failed to locate the winutils binary in the hadoop binary path]]></title><link>https://blog.csdn.net/duyenson/article/details/103140121</link><guid>https://blog.csdn.net/duyenson/article/details/103140121</guid><author>duyenson</author><pubDate>Tue, 19 Nov 2019 13:34:06 +0800</pubDate><description><![CDATA[今天在运行Sparkstreaming时，出现了spark提示错误：
19/11/19 13:14:36 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe ...]]></description><category></category></item></channel></rss>