NLP开发常见问题

news/2024/11/17 2:38:26 标签: 自然语言处理, 人工智能, 机器学习

Q01:过拟合问题?
解决方案:
1,数据增强;增加数据集;
在输入层加入噪声:数据集增强。
在隐藏层加入噪声:Dropout。
在输出层加入噪声:标签平滑。
4,添加残差块;
5,提前终止;
6,随机池化等

Q02:梯度消失和梯度爆炸
解决方案:
1,由于梯度消失或者梯度爆炸都是一堆数值的累乘,如果是一堆大于1的数一起累乘,容易发生梯度爆炸;
如果是一堆小于1的数一起累乘,容易发生梯度消失,所以,一般把训练数据送入模型之前都会做归一化处理;

2,梯度裁剪:梯度裁剪是一种简单有效的方法,通过设置一个阈值,当梯度的范数超过该阈值时,将其裁剪到该阈值范围内,从而防止梯度爆炸

3,换模型,比如RNN模型容易发生梯度爆炸或者梯度消失,LSTM和GRU模型虽然不能完全解决梯度消失问题,但是在一定程度上可以缓解梯度消失

Q03:模型漂移和模型退化的问题?
解决方案:
1,更换模型;
2,使用付费模型

Q04:LangChain问题:1,版本不稳定,升级到0.2以后,0.1版本不可用;2,LangChain更新迭代太慢,很多功能都没有,需要程序员重新开发
解决方案:弃用LangChain,根据需求重新开发一版

Q05:泛化能力不足的问题?
解决方案:
◼ 正则化
◼ 增加神经网络层数
◼ 使用正确的代价函数
◼ 使用好的权重初始化技术
◼ 人为拓展训练集
◼ 弃权技术
增加模型复杂度:
增加测试数据相似度较高的数据集:

Q06:多分类问题:
1,如果是两层循环:准确率高达98%-99%
2,如果是三层循环:准确率95%-96%
3,如果是四层五层循环:准确率不但会大大降低,还有可能分错

调优技巧:
1,超参数调节:网格搜索、随机搜索
2,激活函数的选择:
3,损失函数的选择:


http://www.niftyadmin.cn/n/5754817.html

相关文章

ffmpeg视频编码

一、视频编码流程 使用ffmpeg解码视频帧主要可分为两大步骤:初始化编码器和编码视频帧,以下代码以h264为例 1. 初始化编码器 初始化编码器包含以下步骤: (1)查找编码器 videoCodec avcodec_find_encoder_by_name…

C#/WinForm拖拽文件上传

一、首先创建一个上传文件的类,继承Control类,如下: public class UploadControl : Control{private Image _image;public UploadControl(){this.SetStyle(ControlStyles.UserPaint | //控件自行绘制,而不使用操作系统的绘制Cont…

Restful API接⼝简介及为什么要进⾏接⼝压测

一、RESTful API简介 在现代Web开发中,RESTful API已经成为一种标准的设计模式,用于构建和交互网络应用程序。本文将详细介绍RESTful API的基本概念、特点以及如何使用它来设计高效的API接口。 1. 基于协议 HTTP 或 HTTPS RESTful API通常使用HTTP&am…

STM32 标准库函数 GPIO_SetBits、GPIO_ResetBits、GPIO_WriteBit、GPIO_Write 区别

GPIO_SetBits: 使用例: GPIO_SetBits(GPIOA, GPIO_Pin_1 | GPIO_Pin_2);意思是将GPIOA1和GPIOA2设为高电平 GPIO_SetBits(GPIOA, 0x0003);意思也是将GPIOA1和GPIOA2设为高电平 实际上当选中GPIOA时,它会按位遍历,在哪一位有1说…

后端——接口文档(API)

一、概念 后端的接口文档(API文档)——全称为应用程序编程接口(Application Programming Interface)文档,是详细阐述特定软件应用程序或Web服务所开放接口的具体使用指南。这份文档为开发者提供了与这些接口进行交互的…

全面解读 USB Key:定义、使用场景、加密技术及 Java 实现

文章目录 **什么是 USB Key?****USB Key 的使用场景**1. **身份认证**2. **数字签名**3. **数据加密与解密**4. **证书管理** **USB Key 解决的问题****USB Key 使用的加密技术**1. **对称加密**2. **非对称加密**3. **哈希算法**4. **数字签名**5. **PKI&#xff0…

【Python爬虫实战】轻量级爬虫利器:DrissionPage之SessionPage与WebPage模块详解

🌈个人主页:易辰君-CSDN博客 🔥 系列专栏:https://blog.csdn.net/2401_86688088/category_12797772.html ​ 目录 前言 一、SessionPage (一)SessionPage 模块的基本功能 (二)基本使…

【ubuntu18.04】vm虚拟机复制粘贴键不能用-最后无奈换版本

我是ubuntu16版本的 之前费老大劲安装的vmware tools结果不能用 我又卸载掉,安装了open-vm-tools 首先删除VMware tools sudo vmware-uninstall-tools.pl sudo rm -rf /usr/lib/vmware-tools sudo apt-get autoremove open-vm-tools --purge再下载open-vm-tools s…