<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[java、python、大数据]]></title><description><![CDATA[java、python、大数据]]></description><link>https://blog.csdn.net/lszxlong</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; lszxlong]]></copyright><item><title><![CDATA[mysql查询性能优化]]></title><link>https://blog.csdn.net/lszxlong/article/details/89331051</link><guid>https://blog.csdn.net/lszxlong/article/details/89331051</guid><author>lszxlong</author><pubDate>Tue, 16 Apr 2019 12:43:40 +0800</pubDate><description><![CDATA[学习《高性能MySql》记录查询性能优化]]></description><category></category></item><item><title><![CDATA[使用kafka confluent 同步数据库到kafka消息队列中]]></title><link>https://blog.csdn.net/lszxlong/article/details/89226467</link><guid>https://blog.csdn.net/lszxlong/article/details/89226467</guid><author>lszxlong</author><pubDate>Fri, 12 Apr 2019 10:52:39 +0800</pubDate><description><![CDATA[1. 背景

 近期正在整合集团数据，内部有很多数据需要进行同步，同步方式可以选择接口或者是数据库同步，内部系统我们选择使用数据库同步的方式，外部系统选择使用接口的方式进行同步。数据库同步软件也有很多，我们希望同步的数据被多次消费，最好将同步的数据写入到消息队列中。最终选择了使用kafka Confluent， 下面将对 Confluent进行详细的介绍。

2. 介绍

 Conflue...]]></description><category></category></item><item><title><![CDATA[HDFS挂载到本地硬盘]]></title><link>https://blog.csdn.net/lszxlong/article/details/53005372</link><guid>https://blog.csdn.net/lszxlong/article/details/53005372</guid><author>lszxlong</author><pubDate>Wed, 02 Nov 2016 10:41:08 +0800</pubDate><description><![CDATA[工具hadoop-fuse-dfs
首先创建目录：mkdir /hdfs
然后把目录权限给hdfs chown -R hadoop:hadoop /hdfs/
执行命令挂载的命令：hadoop-fuse-dfs hdfs://qlwb103:8020 /hdfs
然后查看：




已经有内容了]]></description><category></category></item><item><title><![CDATA[Cloudera NTP 配置]]></title><link>https://blog.csdn.net/lszxlong/article/details/52817465</link><guid>https://blog.csdn.net/lszxlong/article/details/52817465</guid><author>lszxlong</author><pubDate>Fri, 14 Oct 2016 17:13:57 +0800</pubDate><description><![CDATA[yum install ntp

vim/etc/ntp.conf


server 0.pool.ntp.org
server 1.pool.ntp.org
server 2.pool.ntp.org
systemctl start ntpd.service



systemctl enable ntpd.service





其他机器：执行


nt]]></description><category></category></item><item><title><![CDATA[Cloudera Manager 正在获取安装锁]]></title><link>https://blog.csdn.net/lszxlong/article/details/52813790</link><guid>https://blog.csdn.net/lszxlong/article/details/52813790</guid><author>lszxlong</author><pubDate>Fri, 14 Oct 2016 10:35:57 +0800</pubDate><description><![CDATA[哪一个节点被锁就删除哪一个
解决办法：进入/tmp 目录，ls -a查看，删除scm_prepare_node.*的文件，以及.scm_prepare_node.lock文件。 
 
rm -rf /tmp/scm_prepare_node.*
rm -rf  /tmp/.scm_prepare_node.lock]]></description><category></category></item><item><title><![CDATA[Spark Hive]]></title><link>https://blog.csdn.net/lszxlong/article/details/52703580</link><guid>https://blog.csdn.net/lszxlong/article/details/52703580</guid><author>lszxlong</author><pubDate>Thu, 29 Sep 2016 17:21:24 +0800</pubDate><description><![CDATA[/**
  * Created by zxl on 2016/9/29.
  */
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql._
import org.apache.spark.sql.hive.HiveContext

object HiveTest {
  def main(arg]]></description><category></category></item><item><title><![CDATA[apache Kylin搭建 CDH版本]]></title><link>https://blog.csdn.net/lszxlong/article/details/52608646</link><guid>https://blog.csdn.net/lszxlong/article/details/52608646</guid><author>lszxlong</author><pubDate>Wed, 21 Sep 2016 15:29:07 +0800</pubDate><description><![CDATA[apache-kylin
下载kylin:
wget 
http://apache.fayea.com/kylin/apache-kylin-1.5.4/apache-kylin-1.5.4-cdh5.7-bin.tar.gz
解压kylin:
tar -zvxf apache-kylin-1.5.4-cdh5.7-bin.tar.gz -C /opt
修改配置文件：
vim /op]]></description><category></category></item><item><title><![CDATA[Redis 3.2GEO 地理位置新特性试用]]></title><link>https://blog.csdn.net/lszxlong/article/details/52597352</link><guid>https://blog.csdn.net/lszxlong/article/details/52597352</guid><author>lszxlong</author><pubDate>Tue, 20 Sep 2016 16:45:34 +0800</pubDate><description><![CDATA[首先下载Redis 3.2

wget http://download.redis.io/releases/redis-3.2.3.tar.gz
tar xzf redis-3.2.3.tar.gz
cd redis-3.2.3
make
启动Rdis：

src/redis-server redis.conf  (后面是配置文件)

启动操作工具：
Reis-cli
 src/]]></description><category></category></item><item><title><![CDATA[大数据工程师技能图谱]]></title><link>https://blog.csdn.net/lszxlong/article/details/52083498</link><guid>https://blog.csdn.net/lszxlong/article/details/52083498</guid><author>lszxlong</author><pubDate>Mon, 01 Aug 2016 10:28:46 +0800</pubDate><description><![CDATA[大数据通用处理平台

SparkFlinkHadoop

分布式存储

HDFS

资源调度

YarnMesos

机器学习工具

MahoutSpark MlibTensorFlow (Google 系)Amazon Machine LearningDMTK (微软分布式机器学习工具)

数据分析/数据仓库(SQL类)

PigHivekylinSpark]]></description><category></category></item><item><title><![CDATA[Squid代理安装以及配置]]></title><link>https://blog.csdn.net/lszxlong/article/details/51941342</link><guid>https://blog.csdn.net/lszxlong/article/details/51941342</guid><author>lszxlong</author><pubDate>Mon, 18 Jul 2016 13:42:38 +0800</pubDate><description><![CDATA[1、什么是squid
Squid cache（简称为Squid）是一个流行的自由软件（GNU通用公共许可证）的代理服务器和Web缓存服务器。Squid有广泛的用途，从作为网页服务器的前置cache服务器缓存相关请求来提高Web服务器的速度，到为一组人共享网络资源而缓存万维网，域名系统和其他网络搜索，到通过过滤流量帮助网络安全，到局域网通过代理上网。Squid主要设计用于在Unix一类系统运行。]]></description><category></category></item><item><title><![CDATA[Hbase常用命令]]></title><link>https://blog.csdn.net/lszxlong/article/details/51915007</link><guid>https://blog.csdn.net/lszxlong/article/details/51915007</guid><author>lszxlong</author><pubDate>Fri, 15 Jul 2016 09:52:42 +0800</pubDate><description><![CDATA[1、启动hbase 

hbase shell









2、查看所有表

list






3、查看具体表

 describe "news"









4、扫描全表

scan "news"



5、获取某一条记录

get "news", "166385"






6、获]]></description><category></category></item><item><title><![CDATA[Impala]]></title><link>https://blog.csdn.net/lszxlong/article/details/51914941</link><guid>https://blog.csdn.net/lszxlong/article/details/51914941</guid><author>lszxlong</author><pubDate>Fri, 15 Jul 2016 09:47:23 +0800</pubDate><description><![CDATA[Impala 号称在性能上比Hive高出3~30倍，甚至预言说在将来的某一天可能会超过Hive的使用率而成为Hadoop上最流行的实时计算平台（也许我这里有点曲解Impala专家的意思，但其诱惑的言辞足以令Hadoop迷不禁有蠢蠢欲试的激动）。毕竟Impala也是人写出来的，是否真的如想象中的快，还得靠客观数据来验证。下面就这两个星期对Impala的认识小记一下，供日后翻阅。




]]></description><category></category></item><item><title><![CDATA[spark 新闻相识度计算]]></title><link>https://blog.csdn.net/lszxlong/article/details/51564666</link><guid>https://blog.csdn.net/lszxlong/article/details/51564666</guid><author>lszxlong</author><pubDate>Thu, 02 Jun 2016 10:49:58 +0800</pubDate><description><![CDATA[/**
  * Created by zxl on 2016/5/5.
  * 余弦相识度计算
  */

import java.sql.{Connection, DriverManager, ResultSet}
import java.text.SimpleDateFormat
import java.util.Date
;
import kafka.serializer.StringDec]]></description><category></category></item><item><title><![CDATA[spark 集群配置]]></title><link>https://blog.csdn.net/lszxlong/article/details/51564598</link><guid>https://blog.csdn.net/lszxlong/article/details/51564598</guid><author>lszxlong</author><pubDate>Thu, 02 Jun 2016 10:45:42 +0800</pubDate><description><![CDATA[1、下载 http://apache.opencas.org/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz
2、JAVA环境配置、scala环境
3、tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz
4、cd spark/bin 
5、执行  错误异常java.net.UnknownHostException:]]></description><category></category></item><item><title><![CDATA[scala Hbase]]></title><link>https://blog.csdn.net/lszxlong/article/details/51263066</link><guid>https://blog.csdn.net/lszxlong/article/details/51263066</guid><author>lszxlong</author><pubDate>Wed, 27 Apr 2016 17:44:24 +0800</pubDate><description><![CDATA[import
org.apache.spark._
import org.apache.spark.rdd.RDD
import org.apache.hadoop.hbase.client.HBaseAdmin
import org.apache.hadoop.hbase.{HBaseConfiguration, HTableDescriptor, TableName}
import org]]></description><category></category></item><item><title><![CDATA[Kafka 安装配置]]></title><link>https://blog.csdn.net/lszxlong/article/details/51220436</link><guid>https://blog.csdn.net/lszxlong/article/details/51220436</guid><author>lszxlong</author><pubDate>Fri, 22 Apr 2016 15:16:32 +0800</pubDate><description><![CDATA[a:简介
kafka （官网地址：http://kafka.apache.org）是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。






i. 消息的发布（publish）称作producer，消息的订阅（subscribe）称作consumer，中间的存储阵列称作broker。

ii. 多个broker协同合作，producer、consumer和broker]]></description><category></category></item><item><title><![CDATA[Docker 学习(1)]]></title><link>https://blog.csdn.net/lszxlong/article/details/50865543</link><guid>https://blog.csdn.net/lszxlong/article/details/50865543</guid><author>lszxlong</author><pubDate>Sat, 12 Mar 2016 14:55:48 +0800</pubDate><description><![CDATA[1、查看系统内核信息：uname -a
Docker 目前只能按照在 64 位平台上，并且要求内核版本不低于 3.10，实际上内核越新越好，过低的内核版本容易造成功能的不稳定




2、另外，为了让 Docker 使用 aufs 存储，推荐安装 linux-image-extra 软件包。
 sudo apt-get install -y linux-image-extra-$(u]]></description><category></category></item><item><title><![CDATA[rabbitmq 消息持久化]]></title><link>https://blog.csdn.net/lszxlong/article/details/50684841</link><guid>https://blog.csdn.net/lszxlong/article/details/50684841</guid><author>lszxlong</author><pubDate>Thu, 18 Feb 2016 11:19:51 +0800</pubDate><description><![CDATA[二：

任务分发 &消息持久化




启用多个接收端的时候如果某一个receive 关闭要保证消息有反馈是否收到




send端

#-*- coding: UTF-8 -*-import pikacred = pika.PlainCredentials('zxl','pwd') #账号密码params = pika.ConnectionParameters(ho]]></description><category></category></item><item><title><![CDATA[Rabbitmq 学习（1）python版]]></title><link>https://blog.csdn.net/lszxlong/article/details/50674552</link><guid>https://blog.csdn.net/lszxlong/article/details/50674552</guid><author>lszxlong</author><pubDate>Tue, 16 Feb 2016 14:29:21 +0800</pubDate><description><![CDATA[rabbitmq 学习（1）Python]]></description><category></category></item><item><title><![CDATA[Python  spynner  解决中文不显示]]></title><link>https://blog.csdn.net/lszxlong/article/details/50372999</link><guid>https://blog.csdn.net/lszxlong/article/details/50372999</guid><author>lszxlong</author><pubDate>Mon, 21 Dec 2015 16:52:33 +0800</pubDate><description><![CDATA[spynner 
Spynner是一个可编程Web浏览器Python模块。支持AJAX。

Spynner是一个有状态，可编程Web浏览器Python模块。它基于 PyQT 和 WebKit构建。支持
 Javascript, AJAX,和所有其它WebKit能够处理的技术(Flash, SVG, ...)。Spynner利用 JQuery。

使用Spynner你可以模拟一个Web浏]]></description><category></category></item></channel></rss>