<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[macanv的专栏]]></title><description><![CDATA[仰望星空，脚踏实地，每天进步一点点]]></description><link>https://blog.csdn.net/macanv</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; macanv]]></copyright><item><title><![CDATA[Centos 7源码安装Python3]]></title><link>https://blog.csdn.net/macanv/article/details/122189236</link><guid>https://blog.csdn.net/macanv/article/details/122189236</guid><author>macanv</author><pubDate>Tue, 28 Dec 2021 11:36:43 +0800</pubDate><description><![CDATA[Centos 7源码安装Python3
因为发先grpc 的多进程在anaconda环境下会出现内存溢出的bug,找了一圈没发现咋解决，后来源码安装Python问题不再出现，这里记录一下编译安装的过程。
1. 下载安装包
wgt https://www.python.org/ftp/python/3.7.10/Python-3.7.10.tar.xz

2. 解压
tar -xvf Python-3.7.10.tar.xz

3. 修改ssh相关内容
cd Python-3.7.10
vim Modules]]></description><category></category></item><item><title><![CDATA[2021-07-14]]></title><link>https://blog.csdn.net/macanv/article/details/118726231</link><guid>https://blog.csdn.net/macanv/article/details/118726231</guid><author>macanv</author><pubDate>Wed, 14 Jul 2021 14:07:16 +0800</pubDate><description><![CDATA[这里写自定义目录标题ubuntu 安装 l2tp VPN Client1.安装2. 配置
ubuntu 安装 l2tp VPN Client
1.安装
    sudo add-apt-repository ppa:nm-l2tp/network-manager-l2tp  
    sudo apt-get update  
    sudo apt-get install network-manager-l2tp network-manager-l2tp-gnome

2. 配置
一路按照界面进行配置，]]></description><category></category></item><item><title><![CDATA[pySpark读写MongoDB]]></title><link>https://blog.csdn.net/macanv/article/details/118143682</link><guid>https://blog.csdn.net/macanv/article/details/118143682</guid><author>macanv</author><pubDate>Wed, 23 Jun 2021 09:39:48 +0800</pubDate><description><![CDATA[最新想对mongo中一个上亿的大collection进行操作，做一些数据分析，发现使用find()对表进行轮询是真的慢啊，想起使用spark进行数据处理，这里记录一下pyspark对mongo的操作，走了一些小坑。
内容比较简单，直接上代码：
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""

@Time    : 2021/6/16 9:20
@Author  : MaCan
@Mail    : ma_cancan@163.com
@File    :]]></description><category></category></item><item><title><![CDATA[conda 环境迁移]]></title><link>https://blog.csdn.net/macanv/article/details/109329637</link><guid>https://blog.csdn.net/macanv/article/details/109329637</guid><author>macanv</author><pubDate>Wed, 28 Oct 2020 11:45:31 +0800</pubDate><description><![CDATA[conda 环境迁移
今天需要在内网进行python服务的部署，但是发现内网机器无法访问外部网络，无法进行相关依赖包的安装，于是诞生此文。
本文使用conda-pack 进行conda 环境的迁移。
1. 安装conda-pack
 pip install conda-pack

2. 在本地打包好conda 环境
conda pack -n my_env


命令中的my_env是你conda中的环境名，替换成自己的就好
执行完以后在当前目录下会生成my_env.tar.gz的压缩包

3. 目的机器环境]]></description><category></category></item><item><title><![CDATA[高维空间向量搜索---腾讯词向量相似检索实践]]></title><link>https://blog.csdn.net/macanv/article/details/108093167</link><guid>https://blog.csdn.net/macanv/article/details/108093167</guid><author>macanv</author><pubDate>Wed, 19 Aug 2020 09:59:58 +0800</pubDate><description><![CDATA[高维空间向量搜索—腾讯词向量相似检索实践
最近工作上遇到一些语料OOV问题，想到可以使用同义词进行替换来弥补部分OOV带来的问题，于是就有了本篇博客的相关实验。
最简单的可以使用gemsim在语料库上训练一个word2vec，然后使用gemsim自带的相似度API直接进行计算，这种方法是最简单的(不考虑内存消耗，计算时间的情况下)。但是自己的语料本身就有OOV问题，训练后，估计效果也不行，于是想到使用腾讯的语料，网上有一篇使用腾讯语料计算相似词的文章，但是只能使用公众号来请求，没有给出代码。
本文记录一下使]]></description><category></category></item><item><title><![CDATA[redis 亿级别的key-value 存储查询实践]]></title><link>https://blog.csdn.net/macanv/article/details/107556413</link><guid>https://blog.csdn.net/macanv/article/details/107556413</guid><author>macanv</author><pubDate>Wed, 12 Aug 2020 16:51:18 +0800</pubDate><description><![CDATA[redis 亿级别的key-value 存储查询实践1. 背景2.  redis pipline 插入3.redis hash键值优化存储4.分桶存储海量数据5.数据定时删除6.其他7.参考
1. 背景
最近项目中有使用到redis，需要存储的数据是key-value类型的，为了优雅的使用redis，提高查询效率,学习了一下，这里记录使用到的redis相关知识，主要涉及：

redis的pipline插入，
redis hash键值优化存储
分桶存储海量数据
数据定时删除
其他

下面我将使用n-gram来]]></description><category></category></item><item><title><![CDATA[python 使用uwsgi 开启多进程服务]]></title><link>https://blog.csdn.net/macanv/article/details/105267051</link><guid>https://blog.csdn.net/macanv/article/details/105267051</guid><author>macanv</author><pubDate>Sat, 04 Apr 2020 18:41:56 +0800</pubDate><description><![CDATA[通常，我们使用flask起好了一个服务后，希望使用多进程来更高效的使用我们的服务，是我们的服务能更大的处理并发，这里记录一个简单的使用。
目录

flask服务
编写uwsgi配置文件
uwsgi启动多进程
关闭所有开启的多进程服务

1.创建一个简单的flask服务
这里我们模拟一个简单分词的HTTP服务，服务的输入输出如下：
用户输入： 字符串的query
服务输出： 分词结果
服务的代码如下...]]></description><category></category></item><item><title><![CDATA[解决TensorRT编译时protobuf模块编译错误]]></title><link>https://blog.csdn.net/macanv/article/details/104458355</link><guid>https://blog.csdn.net/macanv/article/details/104458355</guid><author>macanv</author><pubDate>Sun, 23 Feb 2020 14:42:46 +0800</pubDate><description><![CDATA[在编译TensorRT6.0的时候，可能会遇到protobuf下载导致的错误，
错误的issue:https://github.com/NVIDIA/TensorRT/issues/78
主要报错内容：
CMakeFiles/third_party.protobuf.dir/build.make:90: recipe for target 'third_party.protobuf/src/thi...]]></description><category></category></item><item><title><![CDATA[从BERT迁移到ALBERT]]></title><link>https://blog.csdn.net/macanv/article/details/104261341</link><guid>https://blog.csdn.net/macanv/article/details/104261341</guid><author>macanv</author><pubDate>Tue, 11 Feb 2020 13:03:53 +0800</pubDate><description><![CDATA[从BERT迁移到ALBERT
本文简单记录如何将使用BERT fine tuning 的代码转化为使用Albert进行训练，改动真的不要太多。
我使用的是谷歌官方的Albert https://github.com/google-research/ALBERT
如果你原来已经有BERT的fine tuning的代码，那么你只需要修改四个地方，我这里以https://github.com/macan...]]></description><category></category></item><item><title><![CDATA[Fast Trasnformer 加速BERT推理实践]]></title><link>https://blog.csdn.net/macanv/article/details/104194678</link><guid>https://blog.csdn.net/macanv/article/details/104194678</guid><author>macanv</author><pubDate>Sun, 09 Feb 2020 14:25:31 +0800</pubDate><description><![CDATA[Fast Trasnformer 加速BERT推理实践
上篇BERT做NER的文章很受大家欢迎，其中不乏童鞋询问我如何加速BERT方法的推理速度，本文就对此进行简单的描述，主要是基于NVIDIA开源的Fast Transformer的一个实践。
本文的主要内容如下：


Fast Transoformer文本分类加速实践


其他可以加速推理的方法小调研


1. Fast Trasnformer...]]></description><category></category></item><item><title><![CDATA[卷积神经网络计算过程中的维度变化]]></title><link>https://blog.csdn.net/macanv/article/details/102820028</link><guid>https://blog.csdn.net/macanv/article/details/102820028</guid><author>macanv</author><pubDate>Wed, 30 Oct 2019 15:23:29 +0800</pubDate><description><![CDATA[最近在学习pyTorch, 在阅读pytorch教程的时候，发现有一个简单的卷积神经网络，之前搞明白过这个过程，时间太久，都忘的差不多了， 正好写个笔记记录总结一下
代码如下：
#! usr/bin/env python3
# -*- coding:utf-8 -*-

"""
 @Author：MaCan
 @Time：2019/10/29 19:59
 @File：torch_net.py
 ...]]></description><category></category></item><item><title><![CDATA[合并子区间]]></title><link>https://blog.csdn.net/macanv/article/details/102759231</link><guid>https://blog.csdn.net/macanv/article/details/102759231</guid><author>macanv</author><pubDate>Sat, 26 Oct 2019 17:44:34 +0800</pubDate><description><![CDATA[本题leetcode 地址：https://leetcode-cn.com/problems/merge-intervals/
组合子区间，将重合的区间进行最大的组合，得到没有重合的区间
例如
输入: [[1,3],[2,6],[8,10],[15,18]]
输出: [[1,6],[8,10],[15,18]]
解释: 区间 [1,3] 和 [2,6] 重叠, 将它们合并为 [1,6].

核心思...]]></description><category></category></item><item><title><![CDATA[清华大学THUCNews数据集处理方法]]></title><link>https://blog.csdn.net/macanv/article/details/100927325</link><guid>https://blog.csdn.net/macanv/article/details/100927325</guid><author>macanv</author><pubDate>Tue, 17 Sep 2019 15:18:48 +0800</pubDate><description><![CDATA[清华大学THUCNews数据集处理方法
数据集下载地址:http://thuctc.thunlp.org/
本文主要记录了清华的THUCNEWS数据集用于文本分类的数据预处理方法，比较简单直接上代码
#! usr/bin/env python3
# -*- coding:utf-8 -*-

"""
 清华大学的文本分类数据集的处理
 @Author：MaCan
 @Time：2019/9/17 ...]]></description><category></category></item><item><title><![CDATA[Spark中得groupBy,reduceByKey和 combineByKey区别于各自用法 (5)]]></title><link>https://blog.csdn.net/macanv/article/details/87869211</link><guid>https://blog.csdn.net/macanv/article/details/87869211</guid><author>macanv</author><pubDate>Thu, 21 Feb 2019 21:48:12 +0800</pubDate><description><![CDATA[Spark中得groupByKey,reduceByKey和 combineByKey区别于各自用法
这篇博文记录Spark中经常使用到的shuffle操作groupByKey,reduceByKey和 combineByKey，其中前面两个分别还有不带Key，可以在RDD的trans过程中自定义key的用法，在前面的计算TF-IDF文章中有使用到。
下面就一一的来介绍这三个API，使用词频统计的...]]></description><category></category></item><item><title><![CDATA[PySpark TopK 问题(分组TopK)（4）]]></title><link>https://blog.csdn.net/macanv/article/details/87815666</link><guid>https://blog.csdn.net/macanv/article/details/87815666</guid><author>macanv</author><pubDate>Thu, 21 Feb 2019 15:29:10 +0800</pubDate><description><![CDATA[PySpark TopK 问题(分组TopK)
记录几种利用PySpark计算TopK的方法,准备使用两个例子，其中第一个例子是计算不同院系，不同班,不同学科的成绩前K名的分数。第二个例子以文本数据为例，计算在不同文本类别下出现TopK 频率的单词。
1.准备数据
1,111,68,69,90,1班,经济系
2,112,73,80,96,1班,经济系
3,113,90,74,75,1班,经济系
4...]]></description><category></category></item><item><title><![CDATA[在分布式环境Spark中关闭jieba延时加载等优化方法 （3）]]></title><link>https://blog.csdn.net/macanv/article/details/87860691</link><guid>https://blog.csdn.net/macanv/article/details/87860691</guid><author>macanv</author><pubDate>Thu, 21 Feb 2019 14:43:02 +0800</pubDate><description><![CDATA[在分布式环境中关闭jieba延时加载的方法
这篇博客是记录在使用spark+jieba的过程中，每个task调动jieba分词的时候需要进行延时加载或者从缓存中读取模型文件从而浪费时间问题：
Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\C\AppData\Local\T...]]></description><category></category></item><item><title><![CDATA[PySpark TF-IDF计算（2）]]></title><link>https://blog.csdn.net/macanv/article/details/87731785</link><guid>https://blog.csdn.net/macanv/article/details/87731785</guid><author>macanv</author><pubDate>Tue, 19 Feb 2019 20:26:40 +0800</pubDate><description><![CDATA[使用PySpark进行TF-IDF计算
这篇博文将记录使用PySpark进行TF-IDF统计的过程，将提供多种计算方法。
1. 准备数据
为了简单，同时为了验证自己的程序有木有错误，我使用如下的测试数据：
1 我来到北京清华大学
2 他来到了网易杭研大厦
3 我来到北京清华大学
4 他来到了网易杭研大厦
5 我来到北京清华大学，我来到北京清华大学

一共五行，每行代表一篇文章，每行中得文章id和正...]]></description><category></category></item><item><title><![CDATA[Windows下PySpark 环境搭建篇以及词频统计（1）]]></title><link>https://blog.csdn.net/macanv/article/details/87607887</link><guid>https://blog.csdn.net/macanv/article/details/87607887</guid><author>macanv</author><pubDate>Mon, 18 Feb 2019 11:34:45 +0800</pubDate><description><![CDATA[Windows下pyspark环境搭建以及使用结巴分词进行词频统计
1. 环境搭建
环境搭建的教程已经有很多人写了，我就不多写了， 大家自行百度（推荐在Windows下面安装2.3.1版本的pyspark也是这个版本，避免后面踩坑https://github.com/apache/spark/pull/23055）

在这里下载spark的软件包放到任意目录，解压后路径避免空格，然后将bin路径加...]]></description><category></category></item><item><title><![CDATA[基于BERT预训练的中文命名实体识别TensorFlow实现]]></title><link>https://blog.csdn.net/macanv/article/details/85684284</link><guid>https://blog.csdn.net/macanv/article/details/85684284</guid><author>macanv</author><pubDate>Thu, 03 Jan 2019 11:58:25 +0800</pubDate><description><![CDATA[BERT-BiLSMT-CRF-NER
Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning
使用谷歌的BERT模型在BLSTM-CRF模型上进行预训练用于中文命名实体识别的Tensorflow代码’
代码已经托管到GitHub 代码传送门 大家可以去clone 下来亲自体验一下！
g...]]></description><category></category></item><item><title><![CDATA[hadoop2.7编译以及部署时遇到的坑]]></title><link>https://blog.csdn.net/macanv/article/details/82941171</link><guid>https://blog.csdn.net/macanv/article/details/82941171</guid><author>macanv</author><pubDate>Thu, 04 Oct 2018 22:43:01 +0800</pubDate><description><![CDATA[hadoop2.7编译以及部署时遇到的坑

1.编译时，mvn 出错
使用如下mvn编译，注意-P后面不要带docs
mvn package -Pdist,native -DskipTests -Dtar



部署完成后，运行start-dfs.sh出现：
unable to load native-hadoop library for you platform
解决方法：在etc/hadoop...]]></description><category></category></item></channel></rss>