비전 AI와 백엔드 통신 방식 고민: TCP+웹소켓에서 gRPC로 바꾼 이유

문제정의

AI 전용 관제 모듈을 만들고 있다.
기존 CCTV/VMS를 그대로 대체하는 시스템이 아니라, CCTV와 센서에서 들어오는 데이터를 AI 서버가 분석하고, 그 결과를 운영자에게 실시간으로 전달하고, 기록하고, 조회하고, 통계까지 낼 수 있는 구조를 만드는 일이다.

처음에는 단순하게 생각할 수 있다.
“비전 AI가 이벤트를 만들고, 백엔드가 받으면 되는 거 아닌가?”
“그냥 API 하나 만들면 끝나는 거 아닌가?”

하지만 실제로 구조를 들여다보면 이야기가 달라진다.

지금 만들고 있는 건 학교나 인턴 때 흔히 다뤘던 웹앱의 프론트-백엔드 통신 문제가 아니다.
비전 AI 서버는 이미지 한 프레임, BBOX 로그, 이벤트 정보, 스냅샷 같은 결과물을 미들웨어 역할을 하는 백엔드로 넘겨야 한다.
게다가 초당 3~4프레임 수준으로 계속 처리된다면, 백엔드가 받아야 할 데이터의 양과 속도도 무시할 수 없다.

더 중요한 건, 이 데이터는 단순 참고용이 아니라는 점이다.
비전 AI가 판단한 결과는 사람이 반드시 확인해야 하는 안전 관련 데이터다.
즉, 여기서는 “빠르기만 하면 되는 통신”이 아니라, “놓치지 않고 전달되는 통신”이 훨씬 중요하다.

여기에 더해, 이 시스템은 앞으로 더 커질 가능성도 있다.
지금은 비전 AI 서버 하나와 백엔드 하나로 시작하더라도, 나중에는 카메라별 AI 서버 분리, 모델별 서버 분리, 알림 서버 분리, 통계 서버 분리처럼 구조가 더 복잡해질 수 있다.
그래서 처음부터 단순한 연결 방식이 아니라, 확장 가능하고 구조가 명확한 통신 방식을 고민해야 한다.

이제부터는 비전 AI와 백엔드 사이에서 어떤 통신 방식이 맞는지, 그리고 왜 그런 선택이 필요한지 하나씩 정리해보려 한다.


선택기준

비전 AI와 백엔드 사이 통신은 단순히 “빠른 걸 쓰면 되는 문제”가 아니다.
이 구간에서는 후보마다 장단점이 분명하고, 시스템이 원하는 성격도 다르다.
그래서 먼저 어떤 기준으로 볼지 정해야 한다.

  1. 지연시간

이 시스템은 실시간 이벤트를 거의 스트리밍하듯 전달하는 구조이기 때문에, 지연시간이 짧은 것이 가장 중요하다.
초반에는 “신호를 하나도 놓치지 않는 것”이 중요하다고 생각했지만, 실제로는 준실시간 스트리밍에 더 가깝다.
즉, 몇 개의 이벤트를 놓치더라도 스트리밍이 끊기지만 않으면, 가능한 한 지연이 적은 쪽이 더 중요하다.

  1. 메시지 구조의 명확성

이벤트에는 타입, 시간, 카메라 ID, 객체 정보, 신뢰도, 위험 등급, 스냅샷 경로 같은 정보가 함께 들어간다.
이런 데이터는 초반에는 대충 JSON으로 보내도 돌아가지만, 서비스가 커질수록 필드 관리와 버전 관리가 금방 복잡해진다.
그래서 메시지 구조를 얼마나 명확하게 관리할 수 있는지도 중요한 기준이다.

  1. 확장성

지금은 AI 서버 하나와 백엔드 하나로 시작하더라도, 나중에는 카메라별 서버 분리, 모델별 서버 분리, 알림 서버 분리처럼 구조가 나뉠 수 있다.
처음부터 이런 확장을 감당할 수 있는 방식이어야 한다.
즉, 지금만 편한 방식보다 나중에도 유지 가능한 방식이 더 중요하다.


후보별 특징

이제 실제 후보들을 보면 각각 성격이 다르다. 중요한 건 단순히 빠르냐,느리다가 아니라 비전 AI가 만든 이벤트를 백엔드가 어떤 방식으로 받아야 하느냐를 기준으로 보는 것이다.

  1. REST API

REST는 가장 익숙하고 시작하기 쉬운 방식이다.
HTTP 기반이라 구현도 쉽고, 테스트도 편하고, 사람이 직접 확인하기도 좋다.

장점

  • 구조가 단순하다
  • 개발 속도가 빠르다
  • 디버깅이 쉽다
  • 프론트엔드나 운영용 API와 연결하기 좋다

단점

  • 내부 이벤트를 고빈도로 주고받기엔 다소 무겁다
  • 메시지 구조를 강하게 강제하기 어렵다
  • 스트리밍이나 양방향 통신에는 적합하지 않다

비전 AI 이벤트를 REST로 보내는 건 가능하지만, 이벤트가 많아지고 구조가 복잡해질수록 점점 답답해질 수 있다.

  1. gRPC

gRPC는 내부 서비스 간 통신에 특히 잘 맞는다.
Protobuf로 메시지 구조를 명확하게 정의할 수 있고, HTTP/2 기반이라 성능도 괜찮다.

장점

  • 메시지 구조가 명확하다
  • 성능이 좋다
  • 언어 간 호환성이 좋다
  • 스트리밍도 지원한다
  • 서버끼리 통신하는 구조에 잘 맞는다

단점

  • REST보다 덜 직관적이다
  • 브라우저에서 직접 쓰기 불편하다
  • 초반 도입 장벽이 있다

비전 AI가 이벤트를 만들고 백엔드가 그것을 받아 처리하는 구조에는 gRPC가 꽤 자연스럽다.
특히 이벤트 타입, 카메라 ID, 위험 등급, 스냅샷 참조처럼 필드가 명확한 데이터에는 잘 어울린다.

  1. TCP

TCP는 가장 기본적이고 제어력이 높은 방식이다.
연결형이고 순서가 보장되기 때문에 안정성 면에서는 믿을 만하다.

장점

  • 신뢰성이 높다
  • 순서 보장이 된다
  • 원하는 형태로 프로토콜을 직접 설계할 수 있다

단점

  • 바이트 스트림이라 메시지 경계를 직접 정의해야 한다
  • 프로토콜을 직접 만들어야 해서 구현 부담이 크다
  • 유지보수 난이도가 높다

TCP는 “무조건 쓰기 좋은 기본값”은 아니다.
특수한 성능 요구나 커스텀 프로토콜이 필요한 경우가 아니라면, 비전 AI 이벤트 전달용으로는 다소 무겁고 번거로울 수 있다.

  1. UDP

UDP는 빠르고 가볍다.
대신 유실과 순서 문제가 있다.

장점

  • 지연이 낮다
  • 오버헤드가 작다
  • 실시간 전송에 유리하다

단점

  • 패킷 유실 가능
  • 순서 보장 없음
  • 이벤트 전달용으로는 안정성이 부족할 수 있다

UDP는 비전 AI 이벤트 자체를 보내기보다는, 영상 프레임처럼 일부 손실을 감수할 수 있는 실시간 스트리밍에 더 잘 맞는다.
즉, “이벤트 전달”보다는 “흐름 유지”가 중요한 구간에 어울린다.

정리하면

  • REST: 가장 쉽고 익숙하지만, 내부 이벤트 통신에는 다소 무거움
  • gRPC: 비전 AI ↔ 백엔드 통신에 가장 자연스러운 후보
  • TCP: 제어력은 좋지만 직접 설계 부담이 큼
  • UDP: 빠르지만 이벤트 전달보다는 영상 스트리밍 쪽에 더 적합

확정

POC에서는 TCP+웹소켓을 사용했지만, 최종적으로는 gRPC를 사용해보기로 결정했다

초기 POC에서는 TCP와 웹소켓 조합으로 구현했다.
비전 AI 서버에서 발생한 이벤트를 백엔드가 받아서 실시간으로 화면에 뿌리는 구조를 빠르게 확인하기에는 나쁘지 않은 선택이었다.
직접 제어가 가능하고, 실시간 전송도 가능해서 “일단 돌아가는지”를 보기에는 충분했다.

하지만 회의를 거치면서, 이 구조를 그대로 본 시스템에 가져가는 것은 유지보수와 확장성 측면에서 부담이 크다는 결론에 도달했다.
결국 실제 서비스 구조에 더 잘 맞는 방식으로 gRPC를 검토하게 됐다.

  1. 메시지 구조를 명확하게 관리할 수 있다

비전 AI가 백엔드로 보내는 데이터는 단순 문자열이 아니다.
이벤트 타입, 발생 시각, 카메라 ID, 객체 정보, 위험 등급, 스냅샷 경로처럼 구조화된 정보가 함께 들어간다.

TCP로 직접 프로토콜을 짜면 이런 메시지 구조를 스스로 정의하고 관리해야 한다.
초반에는 유연해 보이지만, 필드가 늘어나고 버전이 바뀌면 오히려 관리가 어려워진다.

반면 gRPC는 Protobuf 기반이라 스키마를 명확하게 정의할 수 있다.
즉, “무슨 데이터를 보내는지”가 코드 수준에서 드러나기 때문에, 나중에 필드 추가나 변경도 훨씬 수월하다.

  1. 이벤트 통신에 더 적합하다

웹소켓은 실시간 화면 반영에는 괜찮지만, 서버 간 이벤트 전달의 중심축으로 쓰기에는 애매한 부분이 있다.
특히 비전 AI처럼 서버가 계속 이벤트를 생성하고, 백엔드가 이를 받아 저장/알림/전파까지 해야 하는 구조에서는
단순 연결 유지보다 메시지 계약과 안정적인 서비스 간 호출 방식이 더 중요하다.

gRPC는 이런 서버 간 통신에 더 자연스럽다.
스트리밍도 지원하고, 요청-응답 구조도 깔끔해서 비전 AI 이벤트 전달용으로 더 잘 맞는다.

  1. 확장성이 좋다

처음에는 AI 서버 한 대와 백엔드 한 대로 시작할 수 있다.
하지만 시간이 지나면 카메라별 AI 서버, 모델별 서버, 알림 서버, 통계 서버처럼 구조가 나뉠 가능성이 크다.

TCP+웹소켓 조합은 이런 확장을 직접 설계해야 한다.
반면 gRPC는 서비스 간 인터페이스를 명확히 두고 확장하기가 쉽다.
나중에 서버가 늘어나도 통신 방식 자체를 크게 바꾸지 않고 가져갈 수 있다는 점이 장점이다.

  1. 언어와 환경이 바뀌어도 유지하기 쉽다

비전 AI 쪽은 Python, 백엔드는 다른 언어로 갈 수도 있고,
중간에 새로운 서비스가 들어올 수도 있다.

이때 TCP 기반 커스텀 프로토콜은 언어마다 파서와 직렬화 로직을 다시 맞춰야 해서 번거롭다.
웹소켓도 가능은 하지만, 서비스 간 계약을 엄격하게 유지하기엔 덜 깔끔하다.

gRPC는 스펙을 기준으로 클라이언트와 서버를 생성할 수 있어서,
언어가 달라도 같은 인터페이스를 유지하기 쉽다.

느낀점 및 마무리

대학교 때 배웠던 TCP, UDP, 소켓 통신은 솔직히 쉽게 와닿지 않았다.
이론으로는 이해한 것 같아도, 왜 이런 방식이 필요한지 체감이 잘 안 됐다.

그런데 현업에서 엣지 컴퓨팅을 하면서 네트워킹을 다시 보게 됐다.
이번에 하려는 작업도 결국 그런 연장선에 있다.
비전 AI와 백엔드가 실제로 데이터를 주고받아야 하고, 그 과정에서 어떤 통신 방식을 쓰느냐가 시스템 구조 자체를 좌우하게 된다.

학부 시절에 했던 프로젝트는 대부분 웹앱 중심이었다.
프론트와 백엔드가 API로 연결되는 구조가 익숙했고, 네트워크는 보이지 않는 기반 정도로만 느껴졌다.
그런데 엣지 컴퓨팅과 내부망을 직접 다뤄보니, 실무에서는 네트워크가 생각보다 훨씬 직접적으로 쓰인다는 걸 체감하고 있다.

이번엔 확실하게 TCP를 직접 구현해봤고, 앞으로는 gRPC도 구현해보면서 네트워크를 더 깊게 이해해보고 싶다.
예전에는 어렵게만 느껴졌던 것들이, 이제는 실제 시스템을 만들기 위해 다시 봐야 하는 도구처럼 느껴진다.

태그
#grpc#TCP#의사결정
티스토리 원문 ↗