<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Deep_Kevin的娱乐空间]]></title><description><![CDATA[我太菜了]]></description><link>https://blog.csdn.net/Deep_Kevin</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; Deep_Kevin]]></copyright><item><title><![CDATA[RL-VLM-F: Reinforcement Learning from Vision Language Foundation Model Feedback]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/165492674</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/165492674</guid><author>Deep_Kevin</author><pubDate>Tue, 15 Sep 2026 23:41:07 +0800</pubDate><description><![CDATA[奖励模型每次更新后，重新计算整个 replay buffer 的奖励。不断交替进行环境探索、偏好采集、奖励学习与策略学习。VLM 可以理解图像与任务描述，但直接要求它给出绝对分数，容易出现尺度不一致和噪声。策略与环境交互，从图像缓冲区随机抽取两张图，结合任务描述查询 VLM。让 VLM 判断“哪个更好”，再从比较中学习奖励，比直接让 VLM 打分更有效。以 VLM 标签为监督，最小化交叉熵，使偏好图像获得相对更高的奖励。在不采用人工干预的情况下，降低强化学习中奖励设计的人工成本。]]></description><category></category></item><item><title><![CDATA[Preference-Calibrated Human-in-the-Loop Reinforcement Learning for Robotic Manipulation]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/165485364</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/165485364</guid><author>Deep_Kevin</author><pubDate>Tue, 15 Sep 2026 17:49:43 +0800</pubDate><description><![CDATA[Portal对于HIL-SERL中可能出现的人工修正前的“迷失片段”，其学习权重与其他的动作相同，奖励有可能通过比理想中更曲折的路径向前传播，影响策略的稳定性。使用一个图像预测器来识别任务进度，从而找出进度不断下降的“迷失片段”，通过加权的方式来适当降低这一部分的理想critic，同时对人工修正部分的策略做额外的偏好学习，使其远离策略动作并贴近人类动作。为了描述问题，论文把一次含人工接管的成功轨迹概念性地拆成：0,…,ta−1⏟正常探索ta,…,th−1⏟次优执行th,…,T−1⏟人工接管
\underbr]]></description><category></category></item><item><title><![CDATA[HIL-SERL: Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/165455684</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/165455684</guid><author>Deep_Kevin</author><pubDate>Tue, 15 Sep 2026 11:29:18 +0800</pubDate><description><![CDATA[在训练时并没有加入正则化等损失，让人类动作与传统策略动作一样，使得奖励有机会沿着这些动作转移向前传播，引导该路径上相似状态的策略学习。同时运用了off-policy，即采集端actor和训练端actor分开的框架。奖励稀疏，初始策略很难碰到一次成功，即使有完整的示范，策略也很容易到达示范没有覆盖的偏离状态。训练采用RLPD，在两种缓冲区内均匀采样，解决了人工和策略本身产生动作不均匀的情况。]]></description><category></category></item><item><title><![CDATA[RL Token]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/161859917</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/161859917</guid><author>Deep_Kevin</author><pubDate>Wed, 10 Jun 2026 14:50:19 +0800</pubDate><description><![CDATA[使用VLA进行训练，并使用RL来进行环境搜索，重复进行以迭代，虽然完成效果好，有一定泛化能力，但是训练成本高，人力成本高。传统的RL，在若干小时训练后可以很好的完成精细化任务，训练成本较低，模型小，但泛化能力差。传统的VLA，泛化能力强但是训练成本高，对于陌生环境适应能力差，难以完成精细化任务。]]></description><category></category></item><item><title><![CDATA[鞅与停时 - 一种特别的概率论问题]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/147767369</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/147767369</guid><author>Deep_Kevin</author><pubDate>Wed, 07 May 2025 15:34:42 +0800</pubDate><description><![CDATA[例如字符串一匹配完我们就停止，那么这个事件的停止时间只依赖于停止之前的所有状态（所打的字符），而不依赖于停止之后的所有状态（还没有打的字符），那么就说明这个停止时间。的概念：停时，通俗而言，一个事件停止的时间，并且这个事件停止的时间只依赖于停止之前的所有状态。那么我们也很容易可以完成类似的题目，只要产生字符的概率是独立的，且产生相同字符的概率是相等的，就可以用所有。是停时的时候，可以用鞅的性质和可选停止定理来证明，带入赌资的期望和带出的钱的期望是相等的。的概率积的倒数之和来算出产生该字符串的期望。]]></description><category></category></item><item><title><![CDATA[CF2096G Wonderful Guessing Game 构造]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/147567039</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/147567039</guid><author>Deep_Kevin</author><pubDate>Sun, 27 Apr 2025 19:24:53 +0800</pubDate><description><![CDATA[也就是我们要加一次询问（一行），尝试让原来两列相差恰好一个元素的变成相差两个元素。可以构造一个表，行表示不同的询问，列表示不同的元素，每个格子表示该元素如果是答案，在这个询问下应该有的回答。那么说明我们构造的这个表格有一行会直接被标为空，相当于对于任意两列，都有至少两个位置不相同。那么我们实际上要往这个表中填入三种数字，使得任意两列不完全相同，而且每行的和为。这个也比较简单，保证每个枚举元组的前缀 0 后第一个元素是 1 即可。显然我们需要一定要增加一个询问，证明可以通过信息熵的角度来证明。]]></description><category></category></item><item><title><![CDATA[CF2103F Maximize Nor]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/147457475</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/147457475</guid><author>Deep_Kevin</author><pubDate>Wed, 23 Apr 2025 16:31:05 +0800</pubDate><description><![CDATA[在哪一个左端点区间，再对奇偶位置分别维护线段树，假如进入了新的区间且值增大了，那么就修改对应奇偶线段树的第。，一直向前跳相同奇偶性的位置，发现答案只会至多改变一次，也就是对于右端点。将奇偶位置拆分，可以通过对于差分和关键点排序的方法来求出对于右端点。的每个左端点区间的答案。的奇偶性不同时答案为 1 ，否则为 0 .首先观察这个 nor 操作的答案是什么？维护 奇/偶 两个指针表示当前的。个位置的值，查询相当于后缀。的奇偶性相同时答案为。固定来说，不同的区间。个左端点区间的右端点，]]></description><category></category></item><item><title><![CDATA[CF2103E Keep the Sum]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/147455205</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/147455205</guid><author>Deep_Kevin</author><pubDate>Wed, 23 Apr 2025 15:11:26 +0800</pubDate><description><![CDATA[考虑如何对剩下的序列进行排序，排序的时候只用将 “应该在这个位置上的数的位置” 与当前这个位置交换即可，这样的交换至多进行。考虑无解的必要条件：任何一对数加起来都不为k。在中间，最后即使排好序了也很难调整。的值，不妨先做一些操作让。假定这个条件充分，尝试用。不妨假设当前需要交换的是。，在所有操作的最后令。]]></description><category></category></item><item><title><![CDATA[CF2096F Wonderful Impostors]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/147403413</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/147403413</guid><author>Deep_Kevin</author><pubDate>Mon, 21 Apr 2025 21:59:11 +0800</pubDate><description><![CDATA[考虑我们在进行双指针的时候，一直保持当前区间集合的正确性，也就是说，我们可以尝试插入右端点，如果插入错误，我们马上将右端点带来的影响消除，然后删除左端点，直到可以成功插入右端点为止，那么在这个过程中就可以对于每一个右端点求出了一个最小的左端点，依此来判断答案即可。看到题意很容易想到用双指针来维护所有可行的区间，但是显然不能对所有的1区间来维护所有的可行区间，这样的区间数量会太多，我们无法快速进行判断。需要注意的是，插入 0 区间的时候，可能会导致原来可行的 1 区间变得不可行。我们只需要对于左端点。]]></description><category></category></item><item><title><![CDATA[CF2032F. Peanuts Misère Nim game]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/143642229</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/143642229</guid><author>Deep_Kevin</author><pubDate>Sat, 09 Nov 2024 11:39:13 +0800</pubDate><description><![CDATA[给你一个长度为n的序列ai​，你可以将这个序列划分成若干段，每一段都是一个Nim游戏，但是每次只能操作当前最左边非空Nim游戏。你先手，问有多少种划分方案，使得你可以赢下最后一个Nim游戏。]]></description><category></category></item><item><title><![CDATA[Misère Nim game]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/143587661</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/143587661</guid><author>Deep_Kevin</author><pubDate>Thu, 07 Nov 2024 11:05:45 +0800</pubDate><description><![CDATA[跟Nim游戏一样，但是取走最后一个元素的人输。]]></description><category></category></item><item><title><![CDATA[CF2032E Balance 构造]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/143528379</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/143528379</guid><author>Deep_Kevin</author><pubDate>Tue, 05 Nov 2024 21:26:18 +0800</pubDate><description><![CDATA[给你一个长度为奇数的环形序列，每次操作可以将ai−1​ai​ai1​分别加上121，问对每个i要操作多少次才能使得整个序列相等。n≤2∗105。]]></description><category></category></item><item><title><![CDATA[ICPC南京 C.拓扑 + 组合数Dp]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/143471313</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/143471313</guid><author>Deep_Kevin</author><pubDate>Sun, 03 Nov 2024 21:46:11 +0800</pubDate><description><![CDATA[给出一棵有根树，问有多少个拓扑序满足pi​i。n≤5000。]]></description><category></category></item><item><title><![CDATA[斯特林数行列求解]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/126966139</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/126966139</guid><author>Deep_Kevin</author><pubDate>Wed, 21 Sep 2022 09:35:37 +0800</pubDate><description><![CDATA[斯特林数行列快速求解方法总结]]></description><category></category></item><item><title><![CDATA[苏州国决前集训Day11 模拟测试T2]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/118967160</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/118967160</guid><author>Deep_Kevin</author><pubDate>Wed, 21 Jul 2021 15:18:54 +0800</pubDate><description><![CDATA[zzqzzqzzq 喜欢构造题，于是又出了一道构造题。
你需要构造一个 n×nn\times nn×n的矩阵，每个格子里你需要填一个 1∼n21∼n^21∼n2 的整数。你需要保证第 iii 行恰好有 aia_iai​ 个不同的数，第 iii 列恰好有 bib_ibi​ 个不同的数，其中 ai,bi∈[2,n]a_i,b_i\in[2,n]ai​,bi​∈[2,n]
如果有解，给出任意一个解。如果无解，输出 −1−1−1。
盲猜有解
真实的构造题，做法就是先给主对角线填上 111 ，再给任意一条副对角线填上]]></description><category></category></item><item><title><![CDATA[苏州国决前集训Day10 模拟测试T2]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/118937633</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/118937633</guid><author>Deep_Kevin</author><pubDate>Tue, 20 Jul 2021 16:19:49 +0800</pubDate><description><![CDATA[今天 zzq\text{zzq}zzq 在瞎写代码，首先他写了一个如下的树状数组（假设 int\text{int}int 可以存储任意大的整数）：
int n,bit[N]; //N足够大
void init() {
    for(int i=1;i&lt;=n;++i) bit[i]=0;
}
void add(int x,int v) {
    for(int i=x;i&lt;=n;i+=i&amp;-i) bit[i]+=v;
}

利用这个树状数组，他定义了一种对长度为 nnn 的数组 aaa]]></description><category></category></item><item><title><![CDATA[苏州国决前集训Day9 模拟测试T2]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/118898759</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/118898759</guid><author>Deep_Kevin</author><pubDate>Mon, 19 Jul 2021 16:03:18 +0800</pubDate><description><![CDATA[有一个长度为 nnn 的整数序列，每个元素在 [1,m][1,m][1,m] 中独立均匀随机，求序列的最长连续等子段长度期望长度乘 mnm^nmn，对输入的质数 ppp 取模。
例如，{1,2,2,2,3,3,3,3,2,2,1}\{1,2,2,2,3,3,3,3,2,2,1\}{1,2,2,2,3,3,3,3,2,2,1} 的最长连续等子段长度为 444。
思路和题解基本一样。
考虑计算 max⁡≤k\max \leq kmax≤k 的方案数。
设 f[i]f[i]f[i] 表示前 iii 个的方案数，显]]></description><category></category></item><item><title><![CDATA[苏州国决前集训Day9 模拟测试T1]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/118898316</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/118898316</guid><author>Deep_Kevin</author><pubDate>Mon, 19 Jul 2021 15:57:36 +0800</pubDate><description><![CDATA[有一张无重边无自环的联通无向图。你需要进行下列两件事之一：
将图 333 染色或 444 染色，即给每个点一个 111 到 333 或 444 中的颜色，并满足有边相连的点颜色不同。
如果你选择了进行 444 染色，你会被扣除测试点 40%40\%40% 的分数。
给出一个图中的奇环，即一个不重复的顶点序列 v1,v2⋯vkv_1,v_2⋯v_kv1​,v2​⋯vk​，kkk 为奇数，且 viv_ivi​ 和 vi+1v_{i+1}vi+1​ （vkv_kvk​ 和 v1v_1v1​）有边，并满足删除这个奇]]></description><category></category></item><item><title><![CDATA[苏州国决前集训Day8 模拟测试T1]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/118887594</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/118887594</guid><author>Deep_Kevin</author><pubDate>Mon, 19 Jul 2021 08:00:13 +0800</pubDate><description><![CDATA[在一个 nnn 个点 mmm 条边的图上，点的标号是 1,2,⋯,n1,2,⋯,n1,2,⋯,n，第 iii 条边连接的是 aia_iai​ 和 bib_ibi​ 。
一个点的子集被称为好的，当且仅当子集中的任意两点都能仅通过子集中的点联通。
我们现在想要知道有多少个好的子集，对 222 取模。
1≤n≤50,0≤m≤n(n−1)2,1≤ai,bI≤n,0&lt;∣ai−bi∣≤131\leq n\leq 50,0\leq m\leq \frac{n(n-1)}{2},1\leq a_i,b_I\leq n]]></description><category></category></item><item><title><![CDATA[苏州国决前集训Day5 模拟测试T2]]></title><link>https://blog.csdn.net/Deep_Kevin/article/details/118760016</link><guid>https://blog.csdn.net/Deep_Kevin/article/details/118760016</guid><author>Deep_Kevin</author><pubDate>Thu, 15 Jul 2021 15:19:58 +0800</pubDate><description><![CDATA[现在有一条 nnn 个点的链，从左到右一字排开，编号为 1,2,…,n1,2,…,n1,2,…,n. 在每条边上，你可以在向左与向右的方向上各打上若干个（可以为 000 个）箭头。
在一个点上，若有 d+d^+d+ 个箭头从该点发出、d−d^−d− 个箭头指向该点，则它的得分为 d−+2d+d^−+2d^+d−+2d+.
现在要求第 iii 个点的得分不小于 aia_iai​, 求最少需要的箭头数。
相当于对于每一个 i(1≤i&lt;n)i(1\leq i&lt;n)i(1≤i&lt;n) ，相当于要么 ]]></description><category></category></item></channel></rss>