<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[derekhao的专栏]]></title><description><![CDATA[]]></description><link>https://blog.csdn.net/derekhao</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; derekhao]]></copyright><item><title><![CDATA[《鞋匠的AI之旅》- 5. Transformer【中】之“解码器的自回归”]]></title><link>https://blog.csdn.net/derekhao/article/details/139665921</link><guid>https://blog.csdn.net/derekhao/article/details/139665921</guid><author>derekhao</author><pubDate>Thu, 13 Jun 2024 23:09:20 +0800</pubDate><description><![CDATA[解码器综合分析“编码器的输出”以及“模型已生成序列”两部分输入后进行下一个token的预测，这样不停的循环，直到预测任务结束，这个过程称之为自回归，简言之：每个时间步的输出都依赖于它之前的所有时间步的输出。]]></description><category></category></item><item><title><![CDATA[《鞋匠的AI之旅》- 5. Transformer【中】之“前馈神经网络、残差与归一化”]]></title><link>https://blog.csdn.net/derekhao/article/details/139637949</link><guid>https://blog.csdn.net/derekhao/article/details/139637949</guid><author>derekhao</author><pubDate>Wed, 12 Jun 2024 23:14:02 +0800</pubDate><description><![CDATA[Transformer中前馈神经网络就像以上帝视角来综合评估一样，而残差和归一化则稳定网络、减轻梯度爆炸和消失的影响]]></description><category></category></item><item><title><![CDATA[《鞋匠的AI之旅》- 5. Transformer【上】]]></title><link>https://blog.csdn.net/derekhao/article/details/139633881</link><guid>https://blog.csdn.net/derekhao/article/details/139633881</guid><author>derekhao</author><pubDate>Wed, 12 Jun 2024 19:07:18 +0800</pubDate><description><![CDATA[类比人类大脑解决问题的方式，分析几个transformer基本概念，编码、解码、位置编码和多头自注意力]]></description><category></category></item><item><title><![CDATA[《鞋匠的AI之旅》- 4. 自注意力]]></title><link>https://blog.csdn.net/derekhao/article/details/139613443</link><guid>https://blog.csdn.net/derekhao/article/details/139613443</guid><author>derekhao</author><pubDate>Wed, 12 Jun 2024 09:06:39 +0800</pubDate><description><![CDATA[基于现实故事，自然而然的理解自注意力机制，理解查询矩阵、键矩阵和值矩阵的生成，一步一步生成最后的新的输入向量的表示]]></description><category></category></item><item><title><![CDATA[《鞋匠的AI之旅》- 3. 词嵌入]]></title><link>https://blog.csdn.net/derekhao/article/details/139609267</link><guid>https://blog.csdn.net/derekhao/article/details/139609267</guid><author>derekhao</author><pubDate>Tue, 11 Jun 2024 22:21:12 +0800</pubDate><description><![CDATA[通过词嵌入的宏观想象来直观理解词嵌入，并从概率分布、不确定性的度量、熵、KL散度、交叉熵来推导词嵌入的生成过程。]]></description><category></category></item><item><title><![CDATA[《鞋匠的AI之旅》- 1. 缘起 & 2. 新生【简析人工神经网络的原理】]]></title><link>https://blog.csdn.net/derekhao/article/details/139590747</link><guid>https://blog.csdn.net/derekhao/article/details/139590747</guid><author>derekhao</author><pubDate>Tue, 11 Jun 2024 10:56:55 +0800</pubDate><description><![CDATA[通过解决2维世界的现实问题简析人工神经网络的原理：展现最原始的人工神经网络模型，激活函数的作用，导数、偏导数、梯度、链式法则，以及反向传播算法等最基本的人工神经网络概念、原理和算法。]]></description><category></category></item><item><title><![CDATA[《鞋匠的AI之旅》- 总章 【一段从神经元到GPT的AI之旅】]]></title><link>https://blog.csdn.net/derekhao/article/details/139589567</link><guid>https://blog.csdn.net/derekhao/article/details/139589567</guid><author>derekhao</author><pubDate>Tue, 11 Jun 2024 10:55:28 +0800</pubDate><description><![CDATA[街边擦鞋的鞋匠打算记录下自己的修行路，那是一段从神经元到GPT的AI旅程。每当一双落满灰尘的皮鞋伸到眼前，他总能娴熟地擦拭干净。能拂去一些尘埃，不论是为自己还是他人，他总能感到一丝慰藉。浮于脑际的那句“一念色形，一念色空，浮念不息，修行不止”指引着他躬身向前。本文是记录的是鞋匠的旅行计划，包括最简单的人工神经网络，梯度与反向传播算法，词嵌入，自注意力，Transformer等。]]></description><category></category></item></channel></rss>