<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[BlessingXRY的博客]]></title><description><![CDATA[]]></description><link>https://blog.csdn.net/BlessingXRY</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; BlessingXRY]]></copyright><item><title><![CDATA[Spark SQL 常见问题汇总]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/106088791</link><guid>https://blog.csdn.net/BlessingXRY/article/details/106088791</guid><author>BlessingXRY</author><pubDate>Wed, 13 May 2020 00:21:28 +0800</pubDate><description><![CDATA[1 DataFrame转RDD，map中获取时，下标从0开始
例如：
solve02DF
      .rdd
      .map(x =&gt; (x.getInt(0), x.getInt(1), x.getDouble(2)))
      .foreach(println)


]]></description><category></category></item><item><title><![CDATA[MySQL常用命令]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/106065325</link><guid>https://blog.csdn.net/BlessingXRY/article/details/106065325</guid><author>BlessingXRY</author><pubDate>Mon, 11 May 2020 23:21:45 +0800</pubDate><description><![CDATA[1、 启动
（1）service方式：service mysql start
2、停止
（2）service方式：service mysql stop
3、重启
（1）service方式：service mysql restart

]]></description><category></category></item><item><title><![CDATA[MySQL: Got a packet bigger than 'max_allowed_packet' bytes]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/106065229</link><guid>https://blog.csdn.net/BlessingXRY/article/details/106065229</guid><author>BlessingXRY</author><pubDate>Mon, 11 May 2020 23:18:01 +0800</pubDate><description><![CDATA[Python导入数据到MySQL，提示出现错误：Got a packet bigger than ‘max_allowed_packet’ bytes


原因：导入的数据大于MySQL限制的最大包的大小


解决方法：修改max_allowed_packet的值，然后重启MySQL

-- 查看当前的max_allowed_packet的值
show variables like '%max_allowed_packet%'
-- 修改max_allowed_packet的值，10M: 10485760.]]></description><category></category></item><item><title><![CDATA[Python3 Json转字典]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/105709759</link><guid>https://blog.csdn.net/BlessingXRY/article/details/105709759</guid><author>BlessingXRY</author><pubDate>Thu, 23 Apr 2020 15:53:50 +0800</pubDate><description><![CDATA[import json
json.loads(json_str)  # Json字符串转字典
json.dumps(dict) # 字典转Json字符串

'''
读取评分数据，写入到MongoDB中
'''

import json

# 输入 - 文件
inPath = 'D:/projectData/EcSystem/Amazon/reviews.json'
inFile = open(i...]]></description><category></category></item><item><title><![CDATA[Python3 - 时间戳转日期]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/105703006</link><guid>https://blog.csdn.net/BlessingXRY/article/details/105703006</guid><author>BlessingXRY</author><pubDate>Thu, 23 Apr 2020 11:19:08 +0800</pubDate><description><![CDATA[import pymongo
import time
from bson.int64 import long

# 输入 - 文件
inPath = 'D:/projectData/EcSystem/Amazon/ratings.csv'
inFile = open(inPath, 'r', encoding='UTF-8')

for line in inFile:
    # 去掉末尾换行符
...]]></description><category></category></item><item><title><![CDATA[Spark SQL中如何使用广播变量]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/105669785</link><guid>https://blog.csdn.net/BlessingXRY/article/details/105669785</guid><author>BlessingXRY</author><pubDate>Tue, 21 Apr 2020 22:35:19 +0800</pubDate><description><![CDATA[通过自定义UDF函数



]]></description><category></category></item><item><title><![CDATA[Spark Core - 数据加载 - 从HDFS读取数据]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/105647831</link><guid>https://blog.csdn.net/BlessingXRY/article/details/105647831</guid><author>BlessingXRY</author><pubDate>Mon, 20 Apr 2020 23:33:07 +0800</pubDate><description><![CDATA[package DataInput

import org.apache.spark.{SparkConf, SparkContext}

/**
  * @ Description：Spark Core - 从HDFS读取数据
  * @ Modified By：
  * @ Date       ：22:53 2020/4/20 0020
  *
  * @ Author     ：leoxr...]]></description><category></category></item><item><title><![CDATA[Python Django - MgongoDB2View]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/105643874</link><guid>https://blog.csdn.net/BlessingXRY/article/details/105643874</guid><author>BlessingXRY</author><pubDate>Mon, 20 Apr 2020 21:08:24 +0800</pubDate><description><![CDATA[创建一个app，从MongoDB中获取数据，加载到页面

（1）创建app

(venv) C:\Project\PythonProject\EcSystemPython&gt; python manage.py startapp django_web

（2）修改settings.py文件，添加INSTALLED_APPS
（3）templates文件夹中，创建test.html
（4）编辑d...]]></description><category></category></item><item><title><![CDATA[推荐系统实践-笔记-第1章]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/105589548</link><guid>https://blog.csdn.net/BlessingXRY/article/details/105589548</guid><author>BlessingXRY</author><pubDate>Fri, 17 Apr 2020 22:08:59 +0800</pubDate><description><![CDATA[第1章 好的推荐系统
1.1 什么是推荐系统
推荐系统，帮助信息消费者从大量信息中找到自己感兴趣的信息，帮助消息生产者让信息展现在对它感兴趣的用户面前
信息过载的解决方案：分类目录、搜索引擎
分类目录只能覆盖少量的热门网站
搜索引擎需要用户主动提供准确的关键词
推荐系统，帮助用户快速发现有用信息，不需要用户提供明确的需求，通过分析用户的历史行为给用户的兴趣建模
搜索引擎满足了用户有明确目的时的主动...]]></description><category></category></item><item><title><![CDATA[Python - 爬取图片并下载到本地]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/105170668</link><guid>https://blog.csdn.net/BlessingXRY/article/details/105170668</guid><author>BlessingXRY</author><pubDate>Sat, 28 Mar 2020 22:53:05 +0800</pubDate><description><![CDATA[import requests             #用来模拟浏览器发送网络请求
from lxml import etree      #解析数据
from urllib import request  #下载保存urlretrive()
import time                 #time.sleep让程序延迟几秒再进行

# 函数的封装 def
def huya_spide...]]></description><category></category></item><item><title><![CDATA[二进制除法]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/104424110</link><guid>https://blog.csdn.net/BlessingXRY/article/details/104424110</guid><author>BlessingXRY</author><pubDate>Fri, 21 Feb 2020 10:58:57 +0800</pubDate><description><![CDATA[二进制除法中包括除法和模2除法，两个计算并不同


一、除法



二、模2除法



参考文章1链接：https://blog.csdn.net/e891377/article/details/85036212
参考文章2链接：https://blog.csdn.net/u010190210/article/details/80707698


...]]></description><category></category></item><item><title><![CDATA[Redis]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/103716044</link><guid>https://blog.csdn.net/BlessingXRY/article/details/103716044</guid><author>BlessingXRY</author><pubDate>Thu, 26 Dec 2019 15:17:03 +0800</pubDate><description><![CDATA[1 bind ip地址




bind 0.0.0.0
所有访问




bind 127.0.0.1
本地访问


bind 内网IP地址
指定的内网IP可以 访问



参考文章链接：https://blog.csdn.net/sinat_21354977/article/details/83150127


...]]></description><category></category></item><item><title><![CDATA[Scala - 小项目 - 奥特曼打小怪兽]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/102843950</link><guid>https://blog.csdn.net/BlessingXRY/article/details/102843950</guid><author>BlessingXRY</author><pubDate>Thu, 31 Oct 2019 19:27:39 +0800</pubDate><description><![CDATA[一、项目描述
奥特曼 1个
   名字
   血量
   普通  必杀 一次只能打1只
   魔法       所有
   奥特曼的攻击 10%必杀 30%魔法 60%普攻
    
   小怪兽 4只
   名字
   血量
   普通  
  
   回合制游戏
   示例输出:
======== 第1回合 ========
(aa奥特曼,血量：100)
	使用魔法，攻击了b1小怪兽，小怪兽血...]]></description><category></category></item><item><title><![CDATA[Idea - 问题 & 解决]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/102689167</link><guid>https://blog.csdn.net/BlessingXRY/article/details/102689167</guid><author>BlessingXRY</author><pubDate>Tue, 22 Oct 2019 19:44:28 +0800</pubDate><description><![CDATA[1 Error:java: Compilation failed: internal java compiler error
原因：

项目中Java版本不一致

解决：

参考文章地址：https://blog.csdn.net/qq291539326/article/details/79311373/


]]></description><category></category></item><item><title><![CDATA[HBase - 完全分布式搭建]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/102672194</link><guid>https://blog.csdn.net/BlessingXRY/article/details/102672194</guid><author>BlessingXRY</author><pubDate>Mon, 21 Oct 2019 21:15:40 +0800</pubDate><description><![CDATA[1 Zookeeper 正常部署
启动Zookeeper
2 Hadoop 正常部署
启动Hadoop
3 HBase 解压
[hadoop@hadoop105 ~]$ tar -zxvf hbase-1.2.1-bin.tar.gz -C apps/

4 配置环境变量
[hadoop@hadoop105 ~]$ sudo vi /etc/profile
添加内容如下：
export HBASE...]]></description><category></category></item><item><title><![CDATA[Flume - 故障转移、负载均衡]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/102653061</link><guid>https://blog.csdn.net/BlessingXRY/article/details/102653061</guid><author>BlessingXRY</author><pubDate>Sun, 20 Oct 2019 20:24:35 +0800</pubDate><description><![CDATA[故障转移

概述：

故障转移机制的工作方式是将失败的sink放到一个池中，并在池中为它们分配一段冷冻期，在重试之前随着连续的失败而增加。一个sink成功发送event后，将其恢复到活动池。sink有一个与它们相关联的优先级，数字越大表示优先级越高。如果一个sink在发送event时失败，则下一个具有最高优先级的sink将被尝试用于发送事件。


实例：
# hadoop105
# Name t...]]></description><category></category></item><item><title><![CDATA[Hive - 问题 & 解决]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/102652978</link><guid>https://blog.csdn.net/BlessingXRY/article/details/102652978</guid><author>BlessingXRY</author><pubDate>Sun, 20 Oct 2019 20:13:33 +0800</pubDate><description><![CDATA[1 Hive - mapjoin
问题：

hive sql:select f.a,f.b from A t join B f  on ( f.a=t.a and f.ftime=20110802)
该语句中B表有30亿行记录，A表只有100行记录，而且B表中数据倾斜特别严重，有一个key上有15亿行记录，在运行过程中特别的慢，而且会在reduce的过程中遇到内存不够而报错

解决方案：

考虑使...]]></description><category></category></item><item><title><![CDATA[Flume - 安装]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/101117579</link><guid>https://blog.csdn.net/BlessingXRY/article/details/101117579</guid><author>BlessingXRY</author><pubDate>Sat, 21 Sep 2019 20:27:34 +0800</pubDate><description><![CDATA[一、安装
1 解压缩
[root@hadoop01 ~]# tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/

2 修改名称
[root@hadoop01 local]# mv apache-flume-1.9.0-bin/ flume-1.9.0/

3 修改配置
[root@hadoop01 flume-1.9.0]# cd conf...]]></description><category></category></item><item><title><![CDATA[Tez - 安装、简介、优化]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/101107383</link><guid>https://blog.csdn.net/BlessingXRY/article/details/101107383</guid><author>BlessingXRY</author><pubDate>Sat, 21 Sep 2019 14:47:15 +0800</pubDate><description><![CDATA[一、Tez 安装
1 下载地址

https://mirrors.tuna.tsinghua.edu.cn/apache/tez/0.9.0/

2 二进制包安装
2.1 解压并重命名

[root@hadoop01 ~]# tar -zxvf /home/apache-tez-0.9.0-bin.tar.gz -C /usr/local/
[root@hadoop01 ~]# mv /usr/l...]]></description><category></category></item><item><title><![CDATA[Tez - 安装]]></title><link>https://blog.csdn.net/BlessingXRY/article/details/101102373</link><guid>https://blog.csdn.net/BlessingXRY/article/details/101102373</guid><author>BlessingXRY</author><pubDate>Sat, 21 Sep 2019 12:02:06 +0800</pubDate><description><![CDATA[一、Tez 安装
1 下载地址

https://mirrors.tuna.tsinghua.edu.cn/apache/tez/0.9.0/

2 二进制包安装
2.1 解压并重命名

[root@hadoop01 ~]# tar -zxvf /home/apache-tez-0.9.0-bin.tar.gz -C /usr/local/
[root@hadoop01 ~]# mv /usr/l...]]></description><category></category></item></channel></rss>