<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[mr_cuber的博客]]></title><description><![CDATA[]]></description><link>https://blog.csdn.net/mr_cuber</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; mr_cuber]]></copyright><item><title><![CDATA[大数据框架概述：HBase]]></title><link>https://blog.csdn.net/mr_cuber/article/details/114611911</link><guid>https://blog.csdn.net/mr_cuber/article/details/114611911</guid><author>mr_cuber</author><pubDate>Wed, 10 Mar 2021 01:25:44 +0800</pubDate><description><![CDATA[1.架构

2.写入流程

3.读取流程

4.compact流程

5.rowkey设计
]]></description><category></category></item><item><title><![CDATA[大数据框架概述：Yarn]]></title><link>https://blog.csdn.net/mr_cuber/article/details/114611908</link><guid>https://blog.csdn.net/mr_cuber/article/details/114611908</guid><author>mr_cuber</author><pubDate>Wed, 10 Mar 2021 01:24:39 +0800</pubDate><description><![CDATA[1.架构

2.作业提交流程
]]></description><category></category></item><item><title><![CDATA[大数据框架概述：HDFS]]></title><link>https://blog.csdn.net/mr_cuber/article/details/114610330</link><guid>https://blog.csdn.net/mr_cuber/article/details/114610330</guid><author>mr_cuber</author><pubDate>Wed, 10 Mar 2021 01:19:36 +0800</pubDate><description><![CDATA[1.HA架构



在HA集群中，一般设置两个NN，其中一个处于“活跃（Active）”状态，另一个处于“待命（Standby）”状态。处于Active状态的NN负责对外处理所有客户端的请求，处于Standby状态的NN作为热备份节点，保存了足够多的元数据，在Active节点发生故障时，立即切换到活跃状态对外提供服务。

由于Standby NN是Active NN的“热备份”，因此Active NN的状态信息必须实时同步到StandbyNN。针对状态同步，可以借助一个共享存储系统来实现(JournalNo]]></description><category></category></item><item><title><![CDATA[大数据框架概述：MapReduce]]></title><link>https://blog.csdn.net/mr_cuber/article/details/114556105</link><guid>https://blog.csdn.net/mr_cuber/article/details/114556105</guid><author>mr_cuber</author><pubDate>Tue, 09 Mar 2021 01:02:48 +0800</pubDate><description><![CDATA[1.作业执行流程



分别列了Hadoop 1.0时代、2.0时代的大体工作流

详述，仅关心2.0：

作业提交

1.客户端提交Job

2.向资源管理器请求一个application ID，等于job ID。

3.Job client核对job的输出规范，计算输入划分（input split），复制job resource（包括job JAR、配置文件和划分信息） 到HDFS，目录以job ID命名

4.最后通过调用资源管器的submitApplication()来提交job

5.当资源管理器]]></description><category></category></item><item><title><![CDATA[Hive面试题3:底层知识]]></title><link>https://blog.csdn.net/mr_cuber/article/details/113532988</link><guid>https://blog.csdn.net/mr_cuber/article/details/113532988</guid><author>mr_cuber</author><pubDate>Tue, 02 Feb 2021 00:29:57 +0800</pubDate><description><![CDATA[目录



1.hive架构

什么是Hive

Hive架构

Hive优点

Hive使用场景

Hive的执行流程

2.sql如何转为mapreduce程序的

1.hive架构

什么是Hive

Hive是由Facebook开源用于解决海量结构化日志的数据统计；Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射 成一张表，并提供类SQL查询功能，底层计算引擎默认为Hadoop的MapReduce（本质是将sql转化成mapreduce程序），可以将引擎更换为Spark/T.]]></description><category></category></item><item><title><![CDATA[Hive面试题2:常用hive配置]]></title><link>https://blog.csdn.net/mr_cuber/article/details/113152326</link><guid>https://blog.csdn.net/mr_cuber/article/details/113152326</guid><author>mr_cuber</author><pubDate>Thu, 28 Jan 2021 00:55:43 +0800</pubDate><description><![CDATA[目录



1.动态分区

1.启用动态分区
]]></description><category></category></item><item><title><![CDATA[Hive面试题1:复杂sql]]></title><link>https://blog.csdn.net/mr_cuber/article/details/113100287</link><guid>https://blog.csdn.net/mr_cuber/article/details/113100287</guid><author>mr_cuber</author><pubDate>Mon, 25 Jan 2021 01:21:14 +0800</pubDate><description><![CDATA[1.等比例抽样

此场景在工作中遇到过，笔者原创。有用户表user，字段user_id, city。现运营同事要选10w人发调查问卷，要求人群的city分布，和全量用户的city分布一致。


with city_fenbu as (
    select city, user_cnt/ sum(user_cnt) over() as zhanbi 
    from (
        select city,count(user_id) as user_cnt
        from user_inf]]></description><category></category></item><item><title><![CDATA[Java中Integer等包装类型的cache机制]]></title><link>https://blog.csdn.net/mr_cuber/article/details/73433598</link><guid>https://blog.csdn.net/mr_cuber/article/details/73433598</guid><author>mr_cuber</author><pubDate>Sun, 18 Jun 2017 16:21:05 +0800</pubDate><description><![CDATA[文章对Java 1.5之后为Integer引入的cache机制进行了详细解析。]]></description><category></category></item><item><title><![CDATA[超大数据量排序]]></title><link>https://blog.csdn.net/mr_cuber/article/details/72591106</link><guid>https://blog.csdn.net/mr_cuber/article/details/72591106</guid><author>mr_cuber</author><pubDate>Sat, 20 May 2017 23:57:41 +0800</pubDate><description><![CDATA[美团电话面试题：10亿个short类型的数在内存有限的机器上排序。两种思路分享：1.计数排序；2.分而治之]]></description><category></category></item><item><title><![CDATA[java 异常处理总结]]></title><link>https://blog.csdn.net/mr_cuber/article/details/52619626</link><guid>https://blog.csdn.net/mr_cuber/article/details/52619626</guid><author>mr_cuber</author><pubDate>Thu, 22 Sep 2016 10:30:50 +0800</pubDate><description><![CDATA[1.异常层次结构
Java中，异常对象都是派生于Throwable类的一个实例。下图是异常层次结构：
源自Core Java(Volume I--Fundamentals 9th Edition) (1) 

    派生于Error和RuntimeException的所有异常称为未检查(unchecked)异常，所有其他的异常称为已检查(checked)异常。
在unchecked异常]]></description><category></category></item><item><title><![CDATA[JSP中文乱码问题]]></title><link>https://blog.csdn.net/mr_cuber/article/details/52023666</link><guid>https://blog.csdn.net/mr_cuber/article/details/52023666</guid><author>mr_cuber</author><pubDate>Mon, 25 Jul 2016 14:49:31 +0800</pubDate><description><![CDATA[刚开始写JSP，跟着书上做一个简单BBS的小项目。留言内容部分，中文显示乱码，顺着内容被处理的流程：html提交到servlet--->存储到数据库--->servelet从数据库取数据--->显示。首先手动去mysql命令行找出数据，发现已经是乱码。所以问题出在前两步。
找来几种方案：
1.html页面提交内容的method采用post，而非默认的get；
2.在jsp页面，所有变量被访问]]></description><category></category></item></channel></rss>