linux下显存异常处理：nvidia-smi和gpustat监控gpu

linux下查看内存和显存的使用情况

最常使用的是

1、nvidia-smi命令

nvidia-smi

这个命令便可以显示出系统的gpu占用情况

如果想要查看是哪个用户占用的gpu，可以使用下面命令

ps u PID

显示如下：

如果想停掉哪个程序，则可以直接使用kill命令

kill PID

2、有时明明进程中没有显示占用gpu,但是却发现显存占用上是满的，这时有可能是之前跑的程序没有正常结束，没有成功释放显存，需要显示出之前的占用记录，再将需要kill掉的进程kill掉，释放显存，这里有几种方法

第一个命令：

fuser -v /dev/nvidia*

第二个命令：gpustat

gpustat是基于nvidia-smi的监控GPU的功能

安装：

pip install gpustat

使用：

每秒自动刷新显示GPU状态

watch -n1 --color gpustat

查看后使用CTRL+C退出全屏.

第三个命令：

ps aux|grep usr_name|grep python