jenkins pipeline이 사라졌다!!

 

갑자기 잘 돈던 jenkins의 pipeline들이 사라져버렸다. 

다행히 기존 freestyle은 살아있어서, 중요한 배치들은 돌아갔지만, 신규로 만든 pipeline의 배치 30개가 말끔하게 사라진상태..

뭐지? 하는 마음에 새로운 아이템을 추가를 눌러봤더니 

모든 플러그인들을 쓸수 없는 상태였다. 

 

jenkins 관리 로 들어가보면 모든 플러그인들의 load에서 Fail이 난 상태..

 

시스템 로그에서 보니 workflow-cps, workflow-api 등을 로드 못하면서 관련된 모든 플러그인들이 로드가 안된 상태였다.

 

+ 무리하게 job을 돌리면서 OOM이났고, 리부팅 되는 과정에서 기존에 업데이트 되었던 플러그인들의 충동 + jenkins 버전 충돌 콜라보로 기본 플러그인 제외하고 모두 멈춘상태였다.. 

+ 중요한 ssh 나 github 플러그인도 멈춰버려서... 난리가 난 상태였다. (하지만 job은 성공으로 뜨고 있는..당황스런 사건)

 

 

일단 조치 방법

 

1. jenkins 재부팅 (두손을 모아 기도하면서 재부팅....)

$ sudo systemctl restart jenkins

 

될리가 없었다.. (위에서 설명했듯이 기존 jenkins 버전과 플러그인이 안맞는 상태여서, 재부팅해도 똑같았다)

 

 

2.  jenkins 재설치 + 플러그인 재설치 + java 업데이트

젠킨스를 stop 시키고, 꽤나 높은 버전까지 올렸다. 

+ 사실 낮은 버전부터 하나씩 올려나갔으나, 이미 동작해야 하는  플러그인들이  최신 버전만 지원 했다..

 jenkins 시작 후 플러그인 관리 화면에서 업데이트 해줬다. 

특히 struct 업데이트시 화면이 깨졌다면 최신으로 업데이트 하는 수밖에 없다.

+ 젠킨스를 업데이트 하니 이번엔 java 버전이 안맞는다고 한다... 물론 java8을 지금까지 쓰고 잇는 문제여서, 이번에 업데이트 했다. 

최종 java 17까지 올려주니 정상적으로 job들이 시작되었다. 

$ sudo systemctl stop jenkins
$ sudo apt install jenkins=2.440.1
$ sudo update-alternatives --config java
$ sudo systemctl start jenkins

 

 

두손 모아 기도하자..

안되면...진짜 X된다

 

 

 

물론 이후 빠진 로그 데이터 다시 집어 넣는데, 3일 걸렸다....ㅜㅡㅜ (jenkins 6시간 멈췄는데, 복구 시간 3일 걸렸다.)