<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[日拱一卒]]></title><description><![CDATA[知者行之始，行者知之成。君子务本，本立而道生。]]></description><link>https://blog.csdn.net/firelx</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; firelx]]></copyright><item><title><![CDATA[从卷积拆分和分组的角度看CNN模型的演化]]></title><link>https://blog.csdn.net/firelx/article/details/106154772</link><guid>https://blog.csdn.net/firelx/article/details/106154772</guid><author>firelx</author><pubDate>Sat, 16 May 2020 09:53:23 +0800</pubDate><description><![CDATA[博客：博客园 | CSDN | blog
写在前面
如题，这篇文章将尝试从卷积拆分的角度看一看各种经典CNN backbone网络module是如何演进的，为了视角的统一，仅分析单条路径上的卷积形式。
形式化
方便起见，对常规卷积操作，做如下定义，

III：输入尺寸，长HHH 宽WWW ，令长宽相同，即I=H=WI = H = WI=H=W
MMM：输入channel数，可以看成是tensor的高
KKK：卷积核尺寸K×KK \times KK×K，channel数与输入channel数相同，为MMM
N]]></description><category></category></item><item><title><![CDATA[Inception系列回顾]]></title><link>https://blog.csdn.net/firelx/article/details/106154729</link><guid>https://blog.csdn.net/firelx/article/details/106154729</guid><author>firelx</author><pubDate>Sat, 16 May 2020 09:51:16 +0800</pubDate><description><![CDATA[博客：博客园 | CSDN | blog
文章目录写在前面Inception-V1 (GoogLeNet)BN-InceptionInception-V2, V3Inception-V4，Inception-ResNet-v1，Inception-ResNet-v2参考
写在前面
Inception 家族成员：Inception-V1（GoogLeNet）、BN-Inception、Inception-V2、Inception-V3、Inception-ResNet-V1、Inception-V4、Ince]]></description><category></category></item><item><title><![CDATA[通俗易懂DenseNet]]></title><link>https://blog.csdn.net/firelx/article/details/104578406</link><guid>https://blog.csdn.net/firelx/article/details/104578406</guid><author>firelx</author><pubDate>Sat, 29 Feb 2020 17:47:44 +0800</pubDate><description><![CDATA[文章目录写在前面Dense Block与Transition LayerDenseNet网络架构与性能理解DenseNetPlain Net、ResNet与DenseNet参考
博客：博客园 | CSDN | blog
写在前面
在博客《ResNet详解与分析》中，我们谈到ResNet不同层之间的信息流通隐含在“和”中，所以从信息流通的角度看并不彻底，相比ResNet，DenseNet最大的不同之...]]></description><category></category></item><item><title><![CDATA[ResNet详解与分析]]></title><link>https://blog.csdn.net/firelx/article/details/104578362</link><guid>https://blog.csdn.net/firelx/article/details/104578362</guid><author>firelx</author><pubDate>Sat, 29 Feb 2020 17:45:34 +0800</pubDate><description><![CDATA[文章目录Resnet要解决的是什么问题Residual Block的设计ResNet 网络结构error surface对比Residual Block的分析与改进小结参考
博客：博客园 | CSDN | blog
Resnet要解决的是什么问题
ResNets要解决的是深度神经网络的“退化”问题。
什么是“退化”？
我们知道，对浅层网络逐渐叠加layers，模型在训练集和测试集上的性能会变好，因...]]></description><category></category></item><item><title><![CDATA[理解numpy中ndarray的内存布局和设计哲学]]></title><link>https://blog.csdn.net/firelx/article/details/104256244</link><guid>https://blog.csdn.net/firelx/article/details/104256244</guid><author>firelx</author><pubDate>Mon, 10 Feb 2020 22:36:55 +0800</pubDate><description><![CDATA[博客：博客园 | CSDN | blog
文章目录ndarray是什么ndarray的设计哲学ndarray的内存布局为什么可以这样设计小结参考
本文的主要目的在于理解numpy.ndarray的内存结构及其背后的设计哲学。
ndarray是什么

NumPy provides an N-dimensional array type, the ndarray, which describes a ...]]></description><category></category></item><item><title><![CDATA[python中如何查看指定内存地址的内容]]></title><link>https://blog.csdn.net/firelx/article/details/104256214</link><guid>https://blog.csdn.net/firelx/article/details/104256214</guid><author>firelx</author><pubDate>Mon, 10 Feb 2020 22:33:43 +0800</pubDate><description><![CDATA[博客：博客园 | CSDN | blog
python中一般并不需要查看内存内容，但作为从C/C++过来的人，有的时候还是想看看内存，有时是为了验证内容是否与预期一致，有时是为了探究下内存布局。
from sys import getsizeof 
from ctypes import string_at

'''
getsizeof(...)
    getsizeof(object, defa...]]></description><category></category></item><item><title><![CDATA[计算机视觉中的滤波]]></title><link>https://blog.csdn.net/firelx/article/details/104256194</link><guid>https://blog.csdn.net/firelx/article/details/104256194</guid><author>firelx</author><pubDate>Mon, 10 Feb 2020 22:32:37 +0800</pubDate><description><![CDATA[文章目录写在前面Padding滤波杂谈参考
博客：博客园 | CSDN | blog
写在前面

在计算机视觉中，滤波（filtering）是指

Image filtering: compute function of local neighborhood at each position.
—— from CAP5415–Fall 2014-Lecture 2 (08/21/2014)–Fil...]]></description><category></category></item><item><title><![CDATA[数字图像处理，计算机视觉，计算机图形学，计算摄影]]></title><link>https://blog.csdn.net/firelx/article/details/104256157</link><guid>https://blog.csdn.net/firelx/article/details/104256157</guid><author>firelx</author><pubDate>Mon, 10 Feb 2020 22:30:20 +0800</pubDate><description><![CDATA[博客：博客园 | CSDN | blog
先上图，下图通过输入输出来区分不同学科。

计算机视觉（Computer Vision, CV），输入为图像或图像序列，输出为某种信息或描述，目的在于理解图像，获得语义信息。比如目标识别任务，输入一张图片，输出图中有哪些物体、都在什么位置，典型任务包括检测、识别、分割、定位、追踪、动作识别、OCR等，详见wiki-Computer vision。
数字图像...]]></description><category></category></item><item><title><![CDATA[彻底搞懂感受野的含义与计算]]></title><link>https://blog.csdn.net/firelx/article/details/103618865</link><guid>https://blog.csdn.net/firelx/article/details/103618865</guid><author>firelx</author><pubDate>Thu, 19 Dec 2019 17:52:49 +0800</pubDate><description><![CDATA[文章目录什么是感受野约定感受野大小感受野中心小结参考
博客：博客园 | CSDN | blog
什么是感受野

The receptive field is defined as the region in the input space that a particular CNN’s feature is looking at (i.e. be affected by).
—— A guide ...]]></description><category></category></item><item><title><![CDATA[远程桌面MATLAB启动失败问题解决]]></title><link>https://blog.csdn.net/firelx/article/details/103563315</link><guid>https://blog.csdn.net/firelx/article/details/103563315</guid><author>firelx</author><pubDate>Mon, 16 Dec 2019 15:13:38 +0800</pubDate><description><![CDATA[博客：博客园 | CSDN | blog
远程桌面打开MATLAB会报错，解决办法，打开matlab的licenses路径，如matlab/R2017b/licenses/，路径下存有license文件，如license_standalone.lic（可能为其他名字），打开文件，在每行如下位置添加TS_OK。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-R98Pw...]]></description><category></category></item><item><title><![CDATA[直观理解为什么分类问题用交叉熵损失而不用均方误差损失?]]></title><link>https://blog.csdn.net/firelx/article/details/103518097</link><guid>https://blog.csdn.net/firelx/article/details/103518097</guid><author>firelx</author><pubDate>Thu, 12 Dec 2019 22:30:11 +0800</pubDate><description><![CDATA[文章目录交叉熵损失与均方误差损失损失函数角度softmax反向传播角度参考
交叉熵损失与均方误差损失
常规分类网络最后的softmax层如下图所示，传统机器学习方法以此类比，

一共有KKK类，令网络的输出为[y^1,…,y^K][\hat{y}_1,\dots, \hat{y}_K][y^​1​,…,y^​K​]，对应每个类别的概率，令label为 [y1,…,yK][y_1, \dots, y...]]></description><category></category></item><item><title><![CDATA[Batch Normalization详解]]></title><link>https://blog.csdn.net/firelx/article/details/103405783</link><guid>https://blog.csdn.net/firelx/article/details/103405783</guid><author>firelx</author><pubDate>Thu, 05 Dec 2019 15:30:47 +0800</pubDate><description><![CDATA[文章目录动机单层视角多层视角什么是Batch NormalizationBatch Normalization的反向传播Batch Normalization的预测阶段Batch Normalization的作用几个问题卷积层如何使用BatchNorm？没有scale and shift过程可不可以？BN层放在ReLU前面还是后面？BN层为什么有效？参考
博客：blog.shinelee.me |...]]></description><category></category></item><item><title><![CDATA[常用数据结构操作与算法复杂度总结]]></title><link>https://blog.csdn.net/firelx/article/details/103205608</link><guid>https://blog.csdn.net/firelx/article/details/103205608</guid><author>firelx</author><pubDate>Fri, 22 Nov 2019 18:35:01 +0800</pubDate><description><![CDATA[文章目录时间复杂度常用数据结构操作与算法的复杂度输入规模较小时的情况引用
博客：blog.shinelee.me | 博客园 | CSDN
时间复杂度
如何评估一个算法的计算时间？
一个算法的实际运行时间很难评估，当时的输入、CPU主频、内存、数据传输速度、是否有其他程序在抢占资源等等，这些因素都会影响算法的实际运行时间。为了公平地对比不同算法的效率，需要脱离开这些物理条件，抽象出一个数学描述。在...]]></description><category></category></item><item><title><![CDATA[网络权重初始化方法总结（下）：Lecun、Xavier与He Kaiming]]></title><link>https://blog.csdn.net/firelx/article/details/103194358</link><guid>https://blog.csdn.net/firelx/article/details/103194358</guid><author>firelx</author><pubDate>Fri, 22 Nov 2019 09:08:11 +0800</pubDate><description><![CDATA[文章目录权重初始化最佳实践期望与方差的相关性质全连接层方差分析tanh下的初始化方法Lecun 1998Xavier 2010ReLU/PReLU下的初始化方法He 2015 for ReLUHe 2015 for PReLUcaffe中的实现小结参考
博客：blog.shinelee.me | 博客园 | CSDN
权重初始化最佳实践


书接上回，全0、常数、过大、过小的权重初始化都是不好的，...]]></description><category></category></item><item><title><![CDATA[网络权重初始化方法总结（上）：梯度消失、梯度爆炸与不好的初始化]]></title><link>https://blog.csdn.net/firelx/article/details/102947573</link><guid>https://blog.csdn.net/firelx/article/details/102947573</guid><author>firelx</author><pubDate>Thu, 07 Nov 2019 09:24:11 +0800</pubDate><description><![CDATA[文章目录前向传播与反向传播回顾梯度消失与梯度爆炸激活函数的影响权重矩阵的影响不良初始化参考
博客：blog.shinelee.me | 博客园 | CSDN
前向传播与反向传播回顾
神经网络的训练过程可以简化成以下步骤，

输入预处理（feature scaling等）
初始化网络weight和bias
前向传播，得到网络输出
计算损失函数，得到当前损失
反向传播，根据链式法则，逐层回传得到损失函...]]></description><category></category></item><item><title><![CDATA[为什么要做特征归一化/标准化？]]></title><link>https://blog.csdn.net/firelx/article/details/102875044</link><guid>https://blog.csdn.net/firelx/article/details/102875044</guid><author>firelx</author><pubDate>Sat, 02 Nov 2019 18:29:29 +0800</pubDate><description><![CDATA[文章目录写在前面常用feature scaling方法计算方式上对比分析feature scaling 需要还是不需要什么时候需要feature scaling？什么时候不需要Feature Scaling？小结参考
博客：blog.shinelee.me | 博客园 | CSDN
写在前面

Feature scaling，常见的提法有“特征归一化”、“标准化”，是数据预处理中的重要技术，有时甚...]]></description><category></category></item><item><title><![CDATA[直观理解梯度，以及偏导数、方向导数和法向量等]]></title><link>https://blog.csdn.net/firelx/article/details/102668951</link><guid>https://blog.csdn.net/firelx/article/details/102668951</guid><author>firelx</author><pubDate>Mon, 21 Oct 2019 18:05:46 +0800</pubDate><description><![CDATA[title: 直观理解梯度，以及法向量和切平面
mathjax: true
date: 2019-10-17 17:59:53
tags:
categories:

博客：blog.shinelee.me | 博客园 | CSDN
写在前面
梯度是微积分中的基本概念，也是机器学习解优化问题经常使用的数学工具（梯度下降算法），虽然常说常听常见，但其细节、物理意义以及几何解释还是值得深挖一下，这些不...]]></description><category></category></item><item><title><![CDATA[如何编译和调试Python内核源码？]]></title><link>https://blog.csdn.net/firelx/article/details/102586242</link><guid>https://blog.csdn.net/firelx/article/details/102586242</guid><author>firelx</author><pubDate>Wed, 16 Oct 2019 15:26:31 +0800</pubDate><description><![CDATA[文章目录写在前面获取源代码源代码的组织windows下编译CPython调试CPython小结参考
博客：blog.shinelee.me | 博客园 | CSDN
写在前面
如果对Python源码感兴趣，那“窥探”其实现的最佳方式就是调教它，不，调试它。
获取源代码
Python的官方默认实现为CPython，即C语言实现（主要指解释器的实现，其他实现见Other Interpreter Imp...]]></description><category></category></item><item><title><![CDATA[VGG(2014)，3x3卷积的胜利]]></title><link>https://blog.csdn.net/firelx/article/details/102555616</link><guid>https://blog.csdn.net/firelx/article/details/102555616</guid><author>firelx</author><pubDate>Mon, 14 Oct 2019 20:09:27 +0800</pubDate><description><![CDATA[文章目录写在前面网络结构multi-scale training and testing其他有意思的点参考
博客：blog.shinelee.me | 博客园 | CSDN
写在前面
VGG(2014)网络出自paper《Very Deep Convolutional Networks for Large-Scale Image Recognition》，为ILSVRC2014 localizat...]]></description><category></category></item><item><title><![CDATA[Network in Network(2013)，1x1卷积与Global Average Pooling]]></title><link>https://blog.csdn.net/firelx/article/details/102506298</link><guid>https://blog.csdn.net/firelx/article/details/102506298</guid><author>firelx</author><pubDate>Fri, 11 Oct 2019 17:56:49 +0800</pubDate><description><![CDATA[文章目录写在前面mlpconv layer实现Global Average Pooling网络结构参考
博客：blog.shinelee.me | 博客园 | CSDN
写在前面
《Network in Network》简称NIN，出自颜水成老师团队，首次发表在arxiv的时间为2013年12月，至20190921引用量为2871（google scholar）。

NIN的网络结构仍是在Alex...]]></description><category></category></item></channel></rss>