떠 있는 섬 위에서 서버 대시보드가 뜬 세 개의 관제 화면을 바라보는 사람 - 그라파나·프로메테우스·노드 익스포터로 서버 상태를 감시하는 관제실을 표현한 일러스트

굴러온 돌 3명을 일단 수습으로 뽑았습니다 (그라파나 + 프로메테우스 + 노드 익스포터)

2편에서 제가 “월급 0원짜리 직원 6명을 고용했다”고 했죠.

이번엔 세 명을 더 뽑았어요.

근데 정식 채용은 아니에요. 일단 수습으로요.

기존 직원 하나(넷데이터)를 자를지 말지, 이 셋을 며칠 굴려보고 정하려고요.


먼저, 결과부터

지금 제 서버는 이렇게 보여요.

CPU가 몇 %인지, 메모리는 얼마나 쓰는지, 디스크는 얼마나 남았는지.

한 화면에 딱 정리돼서, 게이지랑 그래프로 흐르고 있어요.

그라파나 Node Exporter Full 대시보드에서 CPU·메모리·디스크·네트워크 사용률이 게이지와 그래프로 표시된 화면
새로 꾸린 관제팀의 화면. 그래프 하나 안 그렸는데 이만큼 보인다.

4편의 넷데이터처럼 “다 보여주는데 못 읽겠는” 게 아니라, 딱 볼 것만 보여요.

그리고 하나 더.

서버가 아프면, 텔레그램으로 먼저 알려줘요.

여기까지가 이번 편의 결과예요.

근데 재밌는 건요.

저, 이 화면을 만드는 데 그래프 하나 안 그렸어요.

어떻게 그게 가능한지, 지금부터 풀어볼게요.


왜 새 팀을 알아봤나

4편에서 넷데이터를 두고 “복잡하다”고 했죠.

수치는 다 있는데, 너무 많아서 오히려 뭐가 중요한지 안 보였거든요.

그러다 “요즘은 다들 그라파나를 쓴다”는 얘기를 여기저기서 들었어요.

대기업도, 개발자들도요.

그래서 후보를 알아봤어요.

넷데이터는 혼자 다 하는 만능 직원이었는데, 이번엔 좀 다른 방식이더라고요.

한 명이 다 하는 게 아니라, 셋이 역할을 나눠서 하는 팀.


이번엔 팀으로 뽑았어요 (한 명은 반쪽짜리)

세 명이 각자 하는 일이 나뉘어 있어요.

※ 노드 익스포터(Node Exporter) : 서버 몸속 수치(CPU·메모리·디스크)를 밖에서 읽게 꺼내주는 계기판 담당. ※ 프로메테우스(Prometheus) : 그 수치를 계속 긁어모아 기록하는 기록원. ※ 그라파나(Grafana) : 기록을 한 화면에 그림으로 띄우는 관제 모니터.

정리하면 이래요.

노드 익스포터가 수치를 꺼내면 → 프로메테우스가 모으고 → 그라파나가 그려요.

셋이 한 팀이에요. 하나만 빠져도 화면이 텅 비어요.

관제팀 3명, 이렇게 일해요
한 명이 다 하는 게 아니라, 셋이 역할을 나눠서 서버를 감시
📟
노드 익스포터 계기판 담당
서버 몸속 수치(CPU·메모리·디스크)를 밖에서 읽게 꺼내줌
🗄️
프로메테우스 기록원
꺼내진 수치를 계속 긁어모아 차곡차곡 기록
📊
그라파나 관제 모니터
기록을 한 화면에 그래프로 띄우고, 이상하면 알림 발송
셋 중 하나만 빠져도 화면이 텅 빈다 — 그래서 세트로 뽑아야 한다

여기서 하나 짚고 갈 게 있어요.

흔히 “그라파나 + 프로메테우스”라고만 부르는데, 이 둘만 뽑으면 정작 내 서버 상태를 못 봐요.

수치를 꺼내주는 노드 익스포터가 있어야 그제야 화면이 채워지거든요.

그래서 저는 처음부터 셋을 세트로 뽑았어요. 반쪽짜리 채용은 의미가 없으니까요.


AI는 “어렵다”고 했는데, 막상 해보니

사실 뽑기 전에 AI한테 물어봤어요. 늘 하던 대로요.

“넷데이터 조합이랑, 그라파나 팀 중에 뭐가 쉬워?”

AI 대답은 명확했어요.

“그라파나 팀이 훨씬 어렵습니다.”

식구도 셋이고, 각자 설정할 것도 많다고요.

솔직히 겁먹었어요. 저는 비개발자에 가까우니까요.

근데요.

막상 해보니, 제일 어려울 줄 알았던 대시보드 꾸미기가, 제일 쉬웠어요.


알고 보니 “경력직”이 널려 있었어요

그라파나는 대시보드를 직접 꾸밀 수 있어요. 패널 하나하나 그래프를 만들 수 있죠.

근데 그걸 직접 안 해도 돼요.

전 세계 사람들이 만들어 공유해둔 대시보드가 수천 개 있거든요.

그라파나 공식 대시보드 갤러리에 Node Exporter Full, ArgoCD, CoreDNS 등 수천 개의 공유 대시보드가 나열된 화면
전 세계 사람들이 만들어둔 대시보드가 수천 개. 이 중에서 고르기만 하면 된다.

Node Exporter Full, ArgoCD, CoreDNS, RabbitMQ… 대상마다 특화된 게 다 있어요.

저는 이 중에서 “리눅스 서버 기본 상태”용으로 제일 유명한 **Node Exporter Full**을 골랐어요.

가져오는 방법도 어이없을 만큼 쉬워요. 번호 하나만 넣으면 통째로 불러와지거든요.

내 그라파나에 Node Exporter Full 대시보드와 Server-Alert 폴더가 불러와져 목록에 표시된 화면
번호 하나 넣으니 이렇게 내 관제실에 들어왔다. 경력직 채용 끝.

그러니까 저는 그래프를 “만든” 게 아니라, 잘 만들어진 걸 “데려온” 거예요.

신입 뽑아서 하나하나 가르치는 대신, 이미 완성된 경력직을 데려온 셈이죠.

AI가 어렵다던 그 부분이, 알고 보니 제일 쉬웠던 거예요.

이게 저는 좀 통쾌했어요.

하나부터 열까지 내가 다 만드는 것만이 능사가 아니더라고요.

남이 잘 만들어둔 걸 알아보고 데려다 쓰는 것도, 일종의 능력이잖아요.

AI를 부려먹는 거랑 결이 같아요. 남의 손을 잘 빌리는 거요.


근데 화면은 “볼 때만” 보여요

대시보드가 아무리 예뻐도, 문제가 하나 있어요.

제가 안 보고 있으면 소용없어요.

새벽에 CPU가 치솟아도, 제가 자고 있으면 모르잖아요.

그래서 알림을 걸어뒀어요.

서버가 아프면, 제가 안 보고 있어도 먼저 연락이 오게.

그라파나 팀은 이것도 돼요. 조건을 걸어두면, 그 조건을 넘길 때 알림을 쏴줘요.

저는 당연히 텔레그램으로 오게 했어요.

3편 경제지표도, 4편 쿠마도, 5편 외부 모니터링도 다 텔레그램이었잖아요.

알림은 무조건 텔레그램 한곳에 모으는 게 제 방식이에요.

그라파나가 보낸 서버 CPU 경보 텔레그램 알림, 발생 중과 해결됨 상태가 순서대로 도착한 화면
“발생 중”이 뜨고, 끝나니 “해결됨”까지. 안 보고 있어도 폰이 먼저 운다.

보세요. “발생 중”이 뜨고, 상황이 끝나니 “해결됨”까지 왔어요.

이제 대시보드를 안 보고 있어도, 이상하면 폰이 먼저 울어요.


그래서 지금, 팀이 이렇게 됐어요

2편에서 서버를 “회사”에 비유했죠.

오라클은 사옥, 도커는 건물, 서비스들은 직원.

이번엔 그 사옥 안에 관제팀을 새로 꾸린 거예요.

  • 노드 익스포터 : 서버 몸속 수치를 꺼내는 계기판
  • 프로메테우스 : 그 수치를 계속 기록하는 기록원
  • 그라파나 : 기록을 한 화면에 띄우는 관제 모니터
  • 알림 : 이상하면 관제팀이 내 폰으로 바로 알려줌

넷데이터가 혼자 다 하려던 걸, 이제 셋이 역할을 나눠서 해요.

각자 한 가지만 잘하니까, 오히려 더 깔끔해졌어요.


근데 이 관제팀, 약점이 하나 있어요

여기까지 오면 완벽해 보이죠.

근데 곰곰이 생각하다 소름 돋는 걸 하나 깨달았어요.

이 관제팀이, 감시하려는 서버 안에 있다는 거예요.

관제팀(그라파나)이 오라클 사옥 안에 있잖아요.

그럼 오라클이 통째로 죽으면?

관제팀도 같이 죽어요. 알림을 보낼 사람이 사라지는 거죠.

정작 제일 중요한 “오라클이 죽었다”는 소식을, 아무도 못 알려주는 거예요.

5편에서 “안의 쿠마는 서버가 죽으면 같이 죽는다”고 했던 그 얘기랑 똑같아요.

그래서 다음 편엔, 감시하는 눈을 아예 서버 밖으로 하나 빼냅니다.

공짜 서버를 하나 더 구해서요.

두 서버가 서로를 지켜보게 만드는 이야기, 다음 편에서 할게요.

아, 그리고 이번에 수습으로 들인 이 셋 말이에요.

며칠 일을 시켜보고, 기존 직원 넷데이터를 자를지 말지 정하려고요.

그 정리해고 얘기는, 조금 더 뒤에서 할게요.

글쓴이 · itnoper

IT 전공했지만 그 길을 떠난 지 10년, 지금은 현장에서 6년째 일하고 있어요. 개발자는 아니에요. AI한테 밀려나지 않으려고, 남의 땅 말고 내 땅에 서버 하나 직접 굴리면서 배운 걸 기록합니다. 소개 →

댓글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다