<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Foools的博客]]></title><description><![CDATA[]]></description><link>https://blog.csdn.net/Foools</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; Foools]]></copyright><item><title><![CDATA[Clickhouse学习整理]]></title><link>https://blog.csdn.net/Foools/article/details/123698613</link><guid>https://blog.csdn.net/Foools/article/details/123698613</guid><author>Foools</author><pubDate>Wed, 23 Mar 2022 22:46:02 +0800</pubDate><description><![CDATA[前言
吃水不忘挖井人，我看的视频课：https://www.bilibili.com/video/BV1Yh411z7os?spm_id_from=333.337.search-card.all.click
我看的参考书是下面这本，整体介绍很全面，但是不用全都读，需要的地方看一看就好，有几章废话很多…但是整体质量不错

Clickhouse学习笔记
clickhouse：列式存储数据库，C++编写，主要用于在线分析处理查询（OLAP），支持SQL，多主架构（客户端访问任何一个节点效果相同）
适合的场景：大体]]></description><category></category></item><item><title><![CDATA[Hive学习整理]]></title><link>https://blog.csdn.net/Foools/article/details/122817334</link><guid>https://blog.csdn.net/Foools/article/details/122817334</guid><author>Foools</author><pubDate>Tue, 08 Feb 2022 03:27:26 +0800</pubDate><description><![CDATA[写在前面
吃水不忘挖井人
视频课地址：https://www.bilibili.com/video/BV1W4411B7cN?from=search&amp;seid=3089375730995965944&amp;spm_id_from=333.337.0.0
学习参考书籍：
书中内容需要拥有hive和hadoop的基础，通读一遍感觉还需要在实际工作中翻读，但是也算有些收获

Hive学习笔记
环境变量的配置
sudo vim /etc/profile.d/my_env.sh
加入信息：
export H]]></description><category></category></item><item><title><![CDATA[Hadoop学习整理]]></title><link>https://blog.csdn.net/Foools/article/details/122711528</link><guid>https://blog.csdn.net/Foools/article/details/122711528</guid><author>Foools</author><pubDate>Thu, 27 Jan 2022 04:31:52 +0800</pubDate><description><![CDATA[前言
吃水不忘挖井人，我看的课是这个，课程带着安装，搞虚拟机，很详细，推荐一波
思维导图

环境
Hadoop102:
cd /	表示的是返回/
cd ～	表示的是返回/home/fools
$HADOOP_HOME	配置的位置为/opt/module/hadoop-3.1.3
集群出现问题
如果某个集群namenode或datanode等出现异常，这时候只要先停掉每个集群sbin/stop-xxxxx.sh，删除每个服务器的data，logs目录rm -rf data/ logs/，然后再初始化hdfs ]]></description><category></category></item><item><title><![CDATA[《计算机网络 自顶向下》吐血万字整理 - 附下载地址及思维导图]]></title><link>https://blog.csdn.net/Foools/article/details/122160861</link><guid>https://blog.csdn.net/Foools/article/details/122160861</guid><author>Foools</author><pubDate>Sun, 26 Dec 2021 21:24:37 +0800</pubDate><description><![CDATA[前言
我看的是这本，豆瓣9.4，很经典的教材书，在文章末尾我附上了网盘链接
这篇博客是重要的前六章的读书笔记，面试需要掌握的部分，读了之后脑子里能有一个整体的框架，还是收获很大的。但是如果要应付面试，应该还需要多看面经多整理细枝末节的知识
思维导图和笔记更适合唤起回忆，串起来已经掌握的知识，不建议作为学习使用，这里只做分享

思维导图

一 计算机网络和因特网
1.1 什么是因特网
一个世界范围的计算机网络，互联了遍及全世界计算设备的网络
一个为应用程序提供服务的基础设施
因特网广泛的使用了协议以完成不同的]]></description><category></category></item><item><title><![CDATA[《NoSQL精粹》了解NoSQL这一篇就够了]]></title><link>https://blog.csdn.net/Foools/article/details/120205655</link><guid>https://blog.csdn.net/Foools/article/details/120205655</guid><author>Foools</author><pubDate>Thu, 09 Sep 2021 22:52:25 +0800</pubDate><description><![CDATA[前言
本博客写于阅读完《NoSQL精粹》这本书之后，作为一篇读书笔记，想要了解NoSQL的朋友可以从这个博客里面整理一些知识，也希望熟练NoSQL的朋友读完也有收获
首先对NoSQL进行一个简单的介绍，最初的NoSQL表示的是“开源分布式的非关系型数据库”，但是NoSQL具体含义是什么并没有一个权威的定义，实际上大部分人的定义是“not only sql”，而并非是对sql说不，不用去纠结为什么不是NOSQL而是NoSQL，我们只需要理解NoSQL表示的是一般具有开源特征，不适用SQL，为了在集群中使用（不]]></description><category></category></item><item><title><![CDATA[尚硅谷Java数据结构与java算法 全194章笔记整理]]></title><link>https://blog.csdn.net/Foools/article/details/119613774</link><guid>https://blog.csdn.net/Foools/article/details/119613774</guid><author>Foools</author><pubDate>Wed, 11 Aug 2021 19:28:01 +0800</pubDate><description><![CDATA[前言
视频地址：https://www.bilibili.com/video/BV1E4411H73v?from=search&amp;seid=13120683720695451628
评价：整个教程的数据结构部分讲的挺好的，知识点全都覆盖了，而且每个数据结构都有代码解释，但是最后20节算法部分讲的有点乱，算法部分我决定直接刷leetcode了
数组
稀疏数组：
二维数组的省内存的保存方法，一般是n行3列，三列分别为行，列，值。
二维数组转稀疏数组：

遍历整个二维数组，查看有多少个有效数字
根据有效数字]]></description><category></category></item><item><title><![CDATA[《操作系统导论》吐血万字整理 - 附下载地址及思维导图]]></title><link>https://blog.csdn.net/Foools/article/details/119492138</link><guid>https://blog.csdn.net/Foools/article/details/119492138</guid><author>Foools</author><pubDate>Sat, 07 Aug 2021 21:37:09 +0800</pubDate><description><![CDATA[前言
我看的是这本，豆瓣9.4，很经典的教材书，在文章末尾我附上了网盘链接
这篇博客算是一个完整的读书笔记，我大概读了20天看完的，电子版做笔记很方便，推荐一波，很多课上没有讲到的知识在这本书里都详细阐释了

全书的思维导图

操作系统介绍
一个正在运行的程序会做：取址执行。从内存中获取指令，对其解码，执行。
操作系统主要利用一种通用的技术，我们称之为虚拟化(virtualization)。 也就是说，操作系统将物理(physical)资源(如处理器、内存或磁盘)转换为更通用、更强大且更易于使用的虚拟形式。]]></description><category></category></item><item><title><![CDATA[hive使用改写with cube优化实例：运行时间180分钟--＞30分钟]]></title><link>https://blog.csdn.net/Foools/article/details/119250820</link><guid>https://blog.csdn.net/Foools/article/details/119250820</guid><author>Foools</author><pubDate>Fri, 30 Jul 2021 16:39:42 +0800</pubDate><description><![CDATA[背景
数据需求，要求计算各个维度下的用户数，并将数据落在目标表中，结果需要支持任意维度的筛选。
维度包括：平台(platform)，是否新用户(is_new)，年龄(age)，人生阶段(life_stage)，城市类型(city_class)，省份名称(province_name)，使用年限(use_age)，当前APP版本(app_version_final)，启动播放(start_play)。 启动播放维度涵盖：启动用户，播放用户，启动无播放用户，播放无启动用户。
数据举例：




platform
]]></description><category></category></item><item><title><![CDATA[从只会单表查询到应用hive完成日常数据需求：hive入门到应用实战]]></title><link>https://blog.csdn.net/Foools/article/details/119246802</link><guid>https://blog.csdn.net/Foools/article/details/119246802</guid><author>Foools</author><pubDate>Fri, 30 Jul 2021 14:35:41 +0800</pubDate><description><![CDATA[hive入门到应用实战前言1. 语法补充hive查看表信息hive查看某个参数的设置hive grouping_IDhive qubehive rolluphive  left semi join （左半连接）hive row_number() over()hive cast函数切换字段的格式hive lateral view explodehive concat拼接字符串concatconcat_wshive nvl相关函数hive日期比较函数2. hive表操作Hive列操作（增加列，删除列，修改列，移]]></description><category></category></item><item><title><![CDATA[哈工大操作系统笔记（4）外设与文件系统]]></title><link>https://blog.csdn.net/Foools/article/details/118916968</link><guid>https://blog.csdn.net/Foools/article/details/118916968</guid><author>Foools</author><pubDate>Mon, 19 Jul 2021 23:22:32 +0800</pubDate><description><![CDATA[操作系统之外设与文件系统
本篇博客是看了李治军教授哈工大的操作系统网课做的笔记，原课程视频地址：https://mooc.study.163.com/course/1000002009?tid=2403044005&amp;trace_c_p_k2=40bf5f80317341d3af0f9fad437208f1#/info
本节思维导图：

20.外设与显示器
操作系统让外设工作起来，使用类似out这样的指令让外设工作起来，等外设工作完了之后写中断处理程序。

CPU向控制器中的寄存器读写数据
控制器完成]]></description><category></category></item><item><title><![CDATA[哈工大操作系统笔记（3）内存管理]]></title><link>https://blog.csdn.net/Foools/article/details/118916863</link><guid>https://blog.csdn.net/Foools/article/details/118916863</guid><author>Foools</author><pubDate>Mon, 19 Jul 2021 23:18:53 +0800</pubDate><description><![CDATA[操作系统之内存管理
本篇博客是看了李治军教授哈工大的操作系统网课做的笔记，原课程视频地址：https://mooc.study.163.com/course/1000003007?tid=2403044006&amp;trace_c_p_k2=2ca81044d5094af1a1f084ae07ee86e0#/info
本节思维导图：

14.内存使用与分段
内存使用
重定位：修改程序中的地址，使之成为相对地址。
在运行每条指令的时候才完成重定位，相对编译时重定位，这样更灵活，而且也不会出现在操作系统中切换]]></description><category></category></item><item><title><![CDATA[哈工大操作系统笔记（2）进程与线程]]></title><link>https://blog.csdn.net/Foools/article/details/118916745</link><guid>https://blog.csdn.net/Foools/article/details/118916745</guid><author>Foools</author><pubDate>Mon, 19 Jul 2021 23:11:58 +0800</pubDate><description><![CDATA[操作系统之进程与线程
本篇博客是看了李治军教授哈工大的操作系统网课做的笔记，原课程视频地址：https://mooc.study.163.com/course/1000002008?tid=2403044007&amp;trace_c_p_k2=307652c373f1486c9fcd4f987b661e32#/info
本节思维导图：

6.CPU管理
cpu管理的最直接方法：设置好pc的初值，cpu运行时自动取址执行

这样存在的问题是cpu利用率很低，使用多道程序，交替执行的方式可以提高cpu利用率并]]></description><category></category></item><item><title><![CDATA[哈工大操作系统笔记（1）操作系统基础]]></title><link>https://blog.csdn.net/Foools/article/details/118916634</link><guid>https://blog.csdn.net/Foools/article/details/118916634</guid><author>Foools</author><pubDate>Mon, 19 Jul 2021 23:04:24 +0800</pubDate><description><![CDATA[操作系统基础
本篇博客是看了李治军教授哈工大的操作系统网课做的笔记，原课程视频地址：https://mooc.study.163.com/course/1000002004?tid=2403042008&amp;trace_c_p_k2=2673c9a0949246379ecb5ae19fa57e02#/info
本节思维导图：

1. 什么是操作系统
操作系统就是在计算机硬件上面包一层软件，使我们的操作更加方便，高效。
操作系统实际上做了什么：它取得 CPU、内存或磁盘等物理资源 (resources)，]]></description><category></category></item><item><title><![CDATA[AttributeError: module ‘keras.backend‘ has no attribute ‘eager‘]]></title><link>https://blog.csdn.net/Foools/article/details/118382829</link><guid>https://blog.csdn.net/Foools/article/details/118382829</guid><author>Foools</author><pubDate>Thu, 01 Jul 2021 11:43:05 +0800</pubDate><description><![CDATA[项目场景：
windows环境下，python3.6，各个conda包的版本如下
\# Name                    Version                   Build  Channel
absl-py                   0.13.0                    &lt;pip&gt;
astor                     0.8.1                     &lt;pip&gt;
cached-property    ]]></description><category></category></item><item><title><![CDATA[通过Xshell方便从linux服务器上传下载文件]]></title><link>https://blog.csdn.net/Foools/article/details/118026758</link><guid>https://blog.csdn.net/Foools/article/details/118026758</guid><author>Foools</author><pubDate>Fri, 18 Jun 2021 15:05:58 +0800</pubDate><description><![CDATA[通过Xshell方便从linux服务器上传下载文件
背景
我使用的是Xshell6进行的操作，sz和rz命令可以方便地上传下载文件，使用zip和unzip文件可以打包上传下载文件，下面分别进行介绍
sz&amp;rz
sz命令：
从Linux下载文件到本机 , 在Linux终端输入命令回车后，选择本地存储路径即可。
命令格式：   sz filename  下载文件filename
sz file1 file2  下载多个文件
sz dir/*　　　下载dir目录下所有文件
rz命令:
直接输进去就行了，然]]></description><category></category></item><item><title><![CDATA[指数平滑法，二次指数平滑法（Holt’s linear trend method），季节性预测算法（Holt-Winters’ seasonal method）]]></title><link>https://blog.csdn.net/Foools/article/details/118026267</link><guid>https://blog.csdn.net/Foools/article/details/118026267</guid><author>Foools</author><pubDate>Fri, 18 Jun 2021 14:51:03 +0800</pubDate><description><![CDATA[指数平滑法
概念：对过去的观察值得加权平均值进行预测的一种方法，适用于水平历史数据
一次指数平滑法：Ft+1 =aYt+(1-a)Ft
Ft表示t时预测值，Yt表示t时观察值。t取1时，F1=Y1。a为平滑系数，介于0到1之间。
最终的式子展开为

平滑系数接近1：越近的值影响越大，模型对时间序列的反应越及时，适合随机波动较大的数列
平滑系数接近0：更适合时间序列比较平稳的序列
实际应用时，应该用均方误差来判断预测误差的大小。但是如果数据是有整体趋势的，指数平滑法并不适用（因为无论如何调整参数都是误差极大的]]></description><category></category></item><item><title><![CDATA[python文件产生的.idea, .vscode, \__pycache__文件都可以删除吗？]]></title><link>https://blog.csdn.net/Foools/article/details/118026057</link><guid>https://blog.csdn.net/Foools/article/details/118026057</guid><author>Foools</author><pubDate>Fri, 18 Jun 2021 14:40:35 +0800</pubDate><description><![CDATA[python文件产生的.idea,	.vscode,	__pycache__文件都可以删除吗？
背景
工作需要更改部分python代码的文件位置，需要删除不需要的文件，但是代码文件中包含了.idea.vscode__pycache__文件，并不知道要不要删除之后再进行移动，所以查阅了资料，如下。
.idea
当使用pycharm作为IDE时，会自动生成.idea/文件夹来存放项目的配置信息。其中包括版本控制信息、历史记录等等，可以进行删除，删除它是不会影响代码的正常使用的，但是如果删除就不能使用pychar]]></description><category></category></item><item><title><![CDATA[hive如何导出数据至本地/HDFS/HIVE？]]></title><link>https://blog.csdn.net/Foools/article/details/117995670</link><guid>https://blog.csdn.net/Foools/article/details/117995670</guid><author>Foools</author><pubDate>Thu, 17 Jun 2021 16:00:05 +0800</pubDate><description><![CDATA[hive如何导出数据至本地/HDFS/HIVE？
应用背景
windows下使用xshell进行hive的操作，代码编辑使用vscode。
这时候如果有数据需求的话，正常情况是登录hive，输入hql，然后出数据，复制粘贴在excel里稍微美化一下，交给运营和产品，但是这种情况是在数据量不大的情况下可以实现的，那如果行数太多，无法直接复制，如何操作呢？
方法一：将数据以文件格式存到到本地
分为两步：把数据存储在linux服务器，从linux服务器复制文件到本地windows


insert方法（有风险）
]]></description><category></category></item><item><title><![CDATA[sql中 group by多个字段，对所有字段做group by]]></title><link>https://blog.csdn.net/Foools/article/details/117950313</link><guid>https://blog.csdn.net/Foools/article/details/117950313</guid><author>Foools</author><pubDate>Wed, 16 Jun 2021 10:44:39 +0800</pubDate><description><![CDATA[表内容

三列内容，其中有重复的内容
一个group by
首先是大家都明白的一个group by操作，用B做group by的条件，a一共有4个，b一共有6个
select count(A),B from test_table group by B


同理
select count(A),C from test_table group by C


两个group by
其实就是做了两次聚合，如下例子，先对B列做一个聚合，再对C列做一次
先对B列进行拆分，拆分成a，b两个，然后分别针对a和b进行拆分。a]]></description><category></category></item><item><title><![CDATA[Adtributor: Revenue Debugging in Advertising Systems 微软论文翻译]]></title><link>https://blog.csdn.net/Foools/article/details/117365322</link><guid>https://blog.csdn.net/Foools/article/details/117365322</guid><author>Foools</author><pubDate>Fri, 28 May 2021 16:05:08 +0800</pubDate><description><![CDATA[前言
毕设在做异常点检测与根因分析，就拿微软14年的文章作为主要参考文献了，这里把中文的翻译以及一些整理一起放在博客里，以作分享交流。
Adtributor: 广告系统中的收入调试
作者：Ranjita Bhagwan, Rahul Kumar, Ramachandran Ramjee, George Varghese, Surjyakanta Mohapatra, Hemanth Manoharan, and Piyush Shah Microsoft
原文地址：https://www.usenix.or]]></description><category></category></item></channel></rss>