PyCharm + Cmd C 했을 때 GPU 메모리 에러 해결 방법

pycharm으로 서버 ssh를 세팅해뒀는데

가끔 Cmd+C를 통해서 프로세스를 종료시키면 에러가 난다.

그러면 재부팅... 을 하거나 좀비 프로세스를 찾아서 죽여줘야 하는데, 이 아이들이 그냥 kill pid로는 죽지 않는다..^^

이번엔 pycharm은 아예 에러가 나서 접속도 안 되는 상황이었다. 

anydesk로 서버에 접속해서 확인해보았다.

돌아가는 python process가 4개가 있는데, 이 아이들의 ppid를 ps -ef 로 찾아보면 또 다른 Python process가 나온다.

이 프로세스가 nvidia-smi를 했을 때 메모리를 차지하는 주 원인으로 나오는데, 죽지를 않는다.

그래서 어떻게 하냐고..?

java를 통해서 pycharm이 연결되기 때문에 ps aux | grep java 를 통해 돌아가고 있는 java 프로세스의 pid를 찾아준다.

그리고 그 java 프로세스를 kill pid를 해서 죽여주고, nvidia-smi를 해보면 멀쩡해진다...

제발 재부팅해서 서버실 가지 말고 java 부터 죽여보자 앞으로