<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[主要分享大数据相关的知识，如Spark、Hudi]]></title><description><![CDATA[公众号：伦少的博客]]></description><link>https://blog.csdn.net/dkl12</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; dkl12]]></copyright><item><title><![CDATA[Spark 数据倾斜：原因、定位与处理方法]]></title><link>https://blog.csdn.net/dkl12/article/details/164063355</link><guid>https://blog.csdn.net/dkl12/article/details/164063355</guid><author>dkl12</author><pubDate>Tue, 25 Aug 2026 18:54:20 +0800</pubDate><description><![CDATA[Spark 数据倾斜：原因、定位与处理方法]]></description><category></category></item><item><title><![CDATA[Flink Checkpoint 原理：概念与整体流程]]></title><link>https://blog.csdn.net/dkl12/article/details/163947729</link><guid>https://blog.csdn.net/dkl12/article/details/163947729</guid><author>dkl12</author><pubDate>Mon, 24 Aug 2026 08:00:00 +0800</pubDate><description><![CDATA[Flink Checkpoint 原理：概念与整体流程]]></description><category></category></item><item><title><![CDATA[大数据安全体系：Kerberos / Ranger / Ranger-KMS / KDC / LDAP]]></title><link>https://blog.csdn.net/dkl12/article/details/163947652</link><guid>https://blog.csdn.net/dkl12/article/details/163947652</guid><author>dkl12</author><pubDate>Sun, 23 Aug 2026 08:00:00 +0800</pubDate><description><![CDATA[大数据安全体系：Kerberos / Ranger / Ranger-KMS / KDC / LDAP]]></description><category></category></item><item><title><![CDATA[Spark 源码 | Standalone Cluster 模式提交流程（八）]]></title><link>https://blog.csdn.net/dkl12/article/details/163947509</link><guid>https://blog.csdn.net/dkl12/article/details/163947509</guid><author>dkl12</author><pubDate>Sat, 22 Aug 2026 08:00:00 +0800</pubDate><description><![CDATA[Spark 源码 | Standalone Cluster 模式提交流程（八）]]></description><category></category></item><item><title><![CDATA[Hadoop DistCp 源码分析：命令入口到核心调用链]]></title><link>https://blog.csdn.net/dkl12/article/details/163936395</link><guid>https://blog.csdn.net/dkl12/article/details/163936395</guid><author>dkl12</author><pubDate>Fri, 21 Aug 2026 08:56:43 +0800</pubDate><description><![CDATA[本文深入分析Hadoop DistCp工具的实现原理，从命令行入口到核心执行流程进行了完整解析。主要内容包括： 命令分发机制：Linux/Windows下如何将distcp命令路由到Java主类org.apache.hadoop.tools.DistCp； 参数解析过程：通过OptionsParser和DistCpOptions完成参数校验，构建不可变的配置对象； 核心执行流程：包括MR作业配置（InputFormat选择、Mapper设置）、文件列表生成和作业提交等关键步骤； 类协作关系：DistCpCo]]></description><category></category></item><item><title><![CDATA[Hadoop DistCp 使用详解与原理分析]]></title><link>https://blog.csdn.net/dkl12/article/details/163907531</link><guid>https://blog.csdn.net/dkl12/article/details/163907531</guid><author>dkl12</author><pubDate>Thu, 20 Aug 2026 09:50:54 +0800</pubDate><description><![CDATA[摘要 DistCp是Hadoop内置的分布式数据拷贝工具，基于MapReduce实现跨集群/目录的高效数据同步。相比单机hadoop fs -cp的串行拷贝，DistCp通过多Mapper并行处理大幅提升性能。本文详细解析DistCp的核心功能与使用场景： 基本用法：支持单/多源拷贝、文件列表指定、增量同步（-update）和删除多余文件（-delete） 三种拷贝模式：增量更新（-update）、全量覆盖（-overwrite）、原子提交（-atomic） 关键参数： 并行控制（-m设置Mapper数） ]]></description><category></category></item><item><title><![CDATA[RAG 工具怎么选：LangChain、LlamaIndex、Dify 实测对比]]></title><link>https://blog.csdn.net/dkl12/article/details/163704670</link><guid>https://blog.csdn.net/dkl12/article/details/163704670</guid><author>dkl12</author><pubDate>Wed, 12 Aug 2026 19:36:42 +0800</pubDate><description><![CDATA[RAG 工具怎么选：LangChain、LlamaIndex、Dify 实测对比]]></description><category></category></item><item><title><![CDATA[手撸一个 RAG，没那么难]]></title><link>https://blog.csdn.net/dkl12/article/details/163640228</link><guid>https://blog.csdn.net/dkl12/article/details/163640228</guid><author>dkl12</author><pubDate>Mon, 10 Aug 2026 16:06:19 +0800</pubDate><description><![CDATA[这篇文章介绍如何用Python快速搭建一个简单的RAG（检索增强生成）系统。主要步骤包括：1）使用LangChain加载本地文档并切分成段落；2）通过OpenAI的embedding模型将文本转为向量，存入Chroma向量数据库；3）构建问答链，实现"用户提问→检索相关段落→生成回答"的流程。文中提供了完整代码示例（约100行），并建议了参数调优方案（如检索段落数量）和本地模型替代方案。作者强调RAG的优势在于能提供回答依据来源，并预告后续将探讨RAG工具选型。整个系统无需复杂配置，适合快速验证RAG基础功]]></description><category></category></item><item><title><![CDATA[RAG 是怎么回事]]></title><link>https://blog.csdn.net/dkl12/article/details/163473211</link><guid>https://blog.csdn.net/dkl12/article/details/163473211</guid><author>dkl12</author><pubDate>Tue, 04 Aug 2026 14:27:38 +0800</pubDate><description><![CDATA[摘要： RAG（检索增强生成）是一种让AI基于外部知识库回答问题的技术，通过将用户提问与文档向量匹配，再结合检索结果生成答案，有效解决大模型的幻觉和时效性问题。其核心流程包括文档向量化、构建向量数据库、检索与生成三步骤。近年来，随着向量数据库和框架（如LangChain）的成熟，RAG成为企业知识管理标配，常与Agent、MCP协同工作，分别负责知识查询、任务拆解和实时操作。但RAG依赖检索质量，无法处理高频变更数据或复杂推理，需结合其他技术互补。本质是让AI“开卷考试”，提升回答准确性。]]></description><category></category></item><item><title><![CDATA[AI Agent、Skill 和 MCP 到底都是什么]]></title><link>https://blog.csdn.net/dkl12/article/details/163371981</link><guid>https://blog.csdn.net/dkl12/article/details/163371981</guid><author>dkl12</author><pubDate>Sat, 01 Aug 2026 08:00:00 +0800</pubDate><description><![CDATA[本文系统梳理了AI领域Agent、Function Calling、Skill和MCP等核心概念的关系与差异。Agent通过自主规划、工具调用和记忆能力实现任务自动化，区别于传统对话模式；Function Calling让AI掌握工具使用方法；Skill以自然语言指导AI处理特定任务；MCP协议则标准化AI与工具的交互方式。这些技术共同构建了AI自主工作的能力框架，使AI从简单对话转向实际执行，但也面临安全控制和权限管理等挑战。文章还推荐了一个AI学习网站，帮助读者深入理解这些前沿概念。]]></description><category></category></item><item><title><![CDATA[大模型到底需要什么硬件？显卡、参数、显存、部署全说清楚]]></title><link>https://blog.csdn.net/dkl12/article/details/163339001</link><guid>https://blog.csdn.net/dkl12/article/details/163339001</guid><author>dkl12</author><pubDate>Thu, 30 Jul 2026 16:14:01 +0800</pubDate><description><![CDATA[本文详细分析了不同规格显卡运行大语言模型的硬件需求，重点探讨了显存容量与模型参数的关系。文章指出，FP16精度下显存需求约为参数量的2倍（如7B模型需14GB显存），但通过量化技术（如Q3/Q2量化）可大幅降低需求。2026年主流显卡如RTX 5090（32GB显存）已能运行70B量化模型（2-8 tok/s）。文章对比了不同显卡的适用范围，提供了从入门到高性能的配置方案，并强调实际使用中32B量化模型往往已能满足需求。最后指出硬件迭代和优化工具（如Ollama 2.0）正持续降低大模型本地部署门槛。]]></description><category></category></item><item><title><![CDATA[各家大模型详解与对比：2026 版]]></title><link>https://blog.csdn.net/dkl12/article/details/163310605</link><guid>https://blog.csdn.net/dkl12/article/details/163310605</guid><author>dkl12</author><pubDate>Wed, 29 Jul 2026 17:49:43 +0800</pubDate><description><![CDATA[本文梳理了2026年主流AI大模型市场格局，分为海外闭源、国内闭源和开源三类。海外方面，OpenAI的GPT-5.6 Sol、Anthropic的Opus 4.8、Google的Gemini 3.5 Flash和xAI的Grok 4.5各具特色，在综合能力、工程编码、多模态处理等方面形成差异化优势。国内闭源模型以Kimi K3、豆包2.1 Pro、通义Qwen3.7等为代表，在超长上下文、中文处理、多模态等场景表现突出。开源领域则以MiniMax M3、DeepSeek-V4等为主力，兼顾高性能与商用友好性]]></description><category></category></item><item><title><![CDATA[大模型的“参数“到底是什么]]></title><link>https://blog.csdn.net/dkl12/article/details/163272577</link><guid>https://blog.csdn.net/dkl12/article/details/163272577</guid><author>dkl12</author><pubDate>Tue, 28 Jul 2026 13:56:42 +0800</pubDate><description><![CDATA[本文用通俗易懂的方式解释了人工智能大模型中的"参数"概念。通过做菜类比说明参数是模型存储的经验值，参数数量决定了模型的记忆容量（如7B模型相当于小本子，70B模型如同厚书）。文章指出参数并非越多越好，效果提升会边际递减，训练数据和架构同样重要。同时解释了参数与运行成本的关系，参数越大对硬件要求越高。最后总结强调参数只是衡量模型的一个维度，训练方法、数据质量和架构设计才是关键差异因素。]]></description><category></category></item><item><title><![CDATA[Spark 源码 | Standalone Client 模式提交流程（七）]]></title><link>https://blog.csdn.net/dkl12/article/details/163230276</link><guid>https://blog.csdn.net/dkl12/article/details/163230276</guid><author>dkl12</author><pubDate>Mon, 27 Jul 2026 09:07:47 +0800</pubDate><description><![CDATA[本文分析了Spark Standalone Client模式的提交流程，主要特点包括： Driver运行在提交客户端，通过反射执行用户主类 提交流程分为8个关键步骤： SparkSubmit准备阶段设置childMainClass为用户主类 客户端启动Driver进程并初始化SparkContext 创建StandaloneAppClient向Master注册应用 Master分配资源并调度Worker启动Executor Executor反向注册到Driver并执行任务 核心RPC通信： Client与M]]></description><category></category></item><item><title><![CDATA[大模型进化史：从没人在意到无所不在]]></title><link>https://blog.csdn.net/dkl12/article/details/163173415</link><guid>https://blog.csdn.net/dkl12/article/details/163173415</guid><author>dkl12</author><pubDate>Fri, 24 Jul 2026 21:13:47 +0800</pubDate><description><![CDATA[《大模型进化史：从RNN到GPT-3的技术跃迁》 本文系统梳理了大模型的发展历程： 早期技术（2014年前）：RNN面临梯度消失问题，LSTM通过"遗忘门"机制部分解决了短时记忆缺陷，Word2Vec实现了词向量表示但无法处理一词多义。 关键突破（2017年）：Google提出Transformer架构，通过自注意力机制实现并行计算和长程依赖处理。2018年出现BERT（双向理解）和GPT-1（单向生成）的技术分叉。 规模跃升（2019-2020）： GPT-2（15亿参数）因"太危险"声明引发关注 GPT]]></description><category></category></item><item><title><![CDATA[大模型到底是怎么回事]]></title><link>https://blog.csdn.net/dkl12/article/details/163141665</link><guid>https://blog.csdn.net/dkl12/article/details/163141665</guid><author>dkl12</author><pubDate>Thu, 23 Jul 2026 20:26:25 +0800</pubDate><description><![CDATA[本文通俗易懂地解析了AI大模型的核心原理：通过海量数据训练学习词语间的统计规律，用预测方式生成回答。文章拆解了大模型训练的三阶段（预训练、微调、RLHF），解释了为何会产生"幻觉"错误，并对比了不同模型的差异（参数规模、上下文窗口、数据质量等）。最后给出实用建议：适合处理信息总结、初稿撰写等任务，但不适合事实核查和复杂决策。全文用生活化比喻取代技术术语，帮助读者理解AI的本质与边界。]]></description><category></category></item><item><title><![CDATA[Claude Code 安装使用文档]]></title><link>https://blog.csdn.net/dkl12/article/details/163114017</link><guid>https://blog.csdn.net/dkl12/article/details/163114017</guid><author>dkl12</author><pubDate>Wed, 22 Jul 2026 20:55:18 +0800</pubDate><description><![CDATA[《终端AI编程助手Claude Code安装与使用指南》摘要：本文介绍了一款独立于IDE的终端AI编程工具Claude Code，支持通过命令行与Claude交互完成代码编写与调试。安装需Node.js 18+环境，提供npm全局安装和备用方案。重点说明五种认证方式，尤其推荐国内用户通过配置文件映射云服务商API。详细讲解交互模式、单次提问、带上下文提问等基础用法，并分类介绍项目初始化、会话管理、模型切换等斜杠命令，帮助开发者快速上手这款终端AI助手]]></description><category></category></item><item><title><![CDATA[2026程序员AI工具盘点｜不折腾、真提效、日常刚需]]></title><link>https://blog.csdn.net/dkl12/article/details/163085729</link><guid>https://blog.csdn.net/dkl12/article/details/163085729</guid><author>dkl12</author><pubDate>Wed, 22 Jul 2026 19:46:07 +0800</pubDate><description><![CDATA[2026程序员AI工具盘点｜不折腾、真提效、日常刚需]]></description><category></category></item><item><title><![CDATA[Spark 源码 | Yarn Cluster 模式提交流程（六）]]></title><link>https://blog.csdn.net/dkl12/article/details/163046202</link><guid>https://blog.csdn.net/dkl12/article/details/163046202</guid><author>dkl12</author><pubDate>Mon, 20 Jul 2026 14:27:58 +0800</pubDate><description><![CDATA[Yarn Cluster 模式 Driver 运行在 AM 内，与 Client 模式有何本质不同？本文从客户端提交到 AM 启动、SparkContext 初始化、资源申请，完整梳理提交流程，重点剖析 YarnClusterScheduler 信号枪和跨线程 wait/notify 同步。]]></description><category></category></item><item><title><![CDATA[Oracle CDC 抽取 BLOB 字段完整踩坑与解决指南]]></title><link>https://blog.csdn.net/dkl12/article/details/163023004</link><guid>https://blog.csdn.net/dkl12/article/details/163023004</guid><author>dkl12</author><pubDate>Sun, 19 Jul 2026 19:33:12 +0800</pubDate><description><![CDATA[Oracle CDC 抽 BLOB 的完整踩坑记录：从 BLOB 为 null，到 ORA-01291 频繁报错，最终定位 Debezium 源码 SCN 推进 bug 并修复。附 __debezium_unavailable_value 占位符的触发器方案。]]></description><category></category></item></channel></rss>