AI Serving Engineer 채용

LLM Inference Engineer · AI Infrastructure Engineer

서빙팀은 LLM이 실제 서비스에서 빠르고 안정적으로 동작하도록 추론 엔진부터 GPU 인프라까지 설계하고 운영합니다. 모델의 추론 성능을 높이고, 프로덕션 트래픽을 안정적으로 처리하며, GPU 자원을 효율적으로 활용해 서비스 품질과 원가 경쟁력을 함께 만들어갑니다.

이번 서빙팀 채용은 전문 영역에 따라 두 가지 트랙으로 진행합니다.

• LLM Inference Engineer는 추론 엔진의 성능을 분석하고 개선합니다. 벤치마크와 프로파일링, 엔진·커널 최적화를 통해 처리량, 지연시간, 토큰당 비용을 책임집니다.
• AI Infrastructure Engineer는 모델이 안정적으로 서비스될 수 있는 기반을 만듭니다. GPU 클러스터, 모델 배포 시스템, LLM Gateway, 트래픽 라우팅, 관측 체계를 구축하고 운영합니다.

두 트랙은 같은 서빙팀에서 긴밀하게 협업합니다. 추론 성능 개선을 실제 서비스의 품질과 비용 절감으로 연결하는 과정에 함께할 분을 찾습니다. 자신의 경험과 강점에 맞는 트랙으로 지원해 주세요.

트랙 1. LLM Inference Engineer

포지션 소개

vLLM을 중심으로 SGLang 등 여러 추론 엔진의 성능을 끌어올리는 역할입니다. 추론 성능과 GPU 활용률이 곧 회사의 원가 경쟁력이 되는 환경에서, 서빙 엔진의 처리량과 지연시간, 토큰당 비용을 책임집니다.

엔진 설정 튜닝을 넘어, 직접 만든 측정 도구로 성능을 재현 가능하게 검증하고 실행 경로를 소스 코드와 GPU 커널 수준까지 분석해 병목을 개선합니다. 그 결과를 서빙 구성과 GPU 용량 계획에 반영하며, AI Infrastructure Engineer와 함께 프로덕션 환경에서 성능 개선 효과를 실현합니다.

주요 업무

• 실제 프로덕션 워크로드를 반영한 벤치마크와 프로파일링 시스템을 구축·운영합니다. 다양한 GPU 아키텍처에서 지연시간, 처리량, 자원 활용률, 토큰당 비용을 측정하고 분석합니다.
• 워크로드 특성과 GPU 사양에 맞게 추론 엔진 설정을 최적화합니다. 배칭 전략, 병렬 처리, 양자화, Speculative Decoding 적용에 따른 성능과 품질 변화를 정량적으로 검증합니다.
• KV 캐시 재사용 파이프라인과 오프로딩 전략을 설계·구현해 메모리 사용 효율과 캐시 히트율을 높입니다.
• 실행 경로를 심층 프로파일링해 성능 병목을 찾고, 엔진 소스 코드와 GPU 커널을 직접 개선합니다.
• 모델 정확도, 추론 성능, 서비스 안정성을 포함한 배포 검증 기준을 수립하고, 성능 회귀를 지속적으로 감지하는 자동화 파이프라인을 구축합니다.
• 목표 SLA와 워크로드에 맞는 서빙 구성 및 필요 GPU 규모를 산정하고, AI Infrastructure Engineer와 협업해 배포 아키텍처와 용량 계획에 반영합니다.

자격 요건

• Python 기반 머신러닝 시스템 또는 고성능 애플리케이션을 개발·구동하고 디버깅한 경험이 있는 분
• vLLM, SGLang 등 주요 추론 엔진으로 모델을 배포하고 성능을 측정한 경험이 있는 분
• Transformer의 Prefill/Decode, Attention, KV Cache, Batching 동작을 이해하고 실제 최적화에 적용한 경험이 있는 분
• GPU 프로파일링 및 벤치마크 환경을 구축하고, 측정 결과를 해석해 개선 방향을 도출할 수 있는 분
• 팀에서 반복적으로 사용할 수 있는 평가·실험 자동화 도구를 직접 설계하고 구현한 경험이 있는 분
• 지연시간, 처리량, 자원 사용량, 모델 품질, 비용 사이의 트레이드오프를 데이터에 기반해 판단할 수 있는 분

우대 사항

• 추론 엔진이나 서빙 프레임워크의 소스 코드를 개선하거나 관련 오픈소스 프로젝트에 기여한 경험
• Triton 또는 CUDA 기반 GPU 커널을 구현하거나 성능을 최적화한 경험
• FP8 등 양자화 기법을 실제 서빙 시스템에 적용하고, 성능과 응답 품질을 함께 평가한 경험
• MoE 모델의 분산 추론 환경(TP/EP)이나 Speculative Decoding을 최적화한 경험
• vLLM, SGLang 등 서로 다른 추론 엔진을 프로덕션에 도입하거나 동일한 조건에서 성능을 비교·검증한 경험
• KV 캐시 오프로딩·공유, 멀티 노드 분산 추론, 요청 부하 분산을 통해 서빙 비용을 개선한 경험
• Kubernetes 및 컨테이너 환경에서 모델 서빙 워크로드를 배포하고 안정성을 검증한 경험

트랙 2. AI Infrastructure Engineer

포지션 소개

Kubernetes와 GPU 클러스터 위에서 LLM 서빙이 안정적으로 동작하도록 만드는 역할입니다. GPU는 회사의 핵심 자산이며, 서빙 엔드포인트의 가용성은 제품과 외부 고객의 서비스에 직접 영향을 줍니다. 서빙 인프라의 안정성과 자원 효율을 책임집니다.

클러스터와 노드부터 모델 배포 시스템, LLM Gateway, 트래픽 라우팅, 관측 체계까지 서빙 플랫폼 전반을 설계하고 운영합니다. LLM Inference Engineer와 협업해 추론 엔진의 성능 개선을 프로덕션 환경에 반영하고, 배포와 확장, 장애 대응을 지속적으로 개선합니다.

주요 업무

• 퍼블릭 클라우드 및 온프레미스 GPU 환경에서 Kubernetes 클러스터를 구축·운영합니다. GPU 드라이버, 컨테이너 런타임, 노드 라이프사이클, 스토리지 등 기반 인프라를 관리합니다.
• 선언적 구성에 기반한 모델 서빙 배포 파이프라인을 구축하고, GitOps를 통해 스테이징과 프로덕션의 배포·롤백을 자동화합니다.
• LLM Gateway를 구축·운영하며 인증, 쿼터, Rate Limiting, 트래픽 라우팅 등 서비스 진입점의 신뢰성을 확보합니다.
• 요청 특성과 서빙 인스턴스의 상태를 반영하는 라우팅 정책을 검증하고 적용해 GPU 자원 효율과 서비스 응답 성능을 개선합니다.
• 대외 API 엔드포인트의 가용성과 실시간 스트리밍 안정성을 확보하고, 급격한 트래픽 증가에 대응할 수 있도록 타임아웃, 재시도, 서킷 브레이킹 정책을 설계합니다.
• IaC와 GitOps를 기반으로 시크릿, 네트워크 정책, RBAC 등 공통 플랫폼 구성을 코드로 관리합니다.
• 추론 엔진과 게이트웨이의 메트릭, 로그, 분산 트레이싱 파이프라인을 구축하고, SLI/SLO에 기반한 모니터링과 알림 체계를 운영합니다.
• 온콜 대응과 인시던트 사후 분석을 통해 장애 영향을 줄이고 재발을 방지합니다. GPU 사용률, 트래픽, 비용 데이터를 바탕으로 용량 계획과 인프라 조달 전략을 수립합니다.

자격 요건

• Kubernetes 기반 프로덕션 인프라를 직접 설계·운영하고 안정성을 검증한 경험이 있는 분
• Linux, 컨테이너 런타임, 네트워크 계층의 문제를 분석하고 서비스를 복구한 경험이 있는 분
• Terraform 기반 IaC와 Argo CD, Helm 등을 활용해 인프라 구성 및 배포 자동화 체계를 구축한 경험이 있는 분
• Python 또는 Go로 인프라 운영 도구나 플랫폼 구성 요소를 직접 개발하고 적용한 경험이 있는 분
• 메트릭, 로그, 분산 트레이싱을 활용해 장애의 근본 원인을 분석하고 재발 방지책을 구현한 경험이 있는 분
• 보안, 가용성, 운영 비용, 시스템 복잡성 사이의 트레이드오프를 데이터에 기반해 판단할 수 있는 분

우대 사항

• NVIDIA GPU 클러스터를 운영하고 GPU 스케줄링 및 자원 모니터링 체계를 개선한 경험
• 퍼블릭 클라우드와 온프레미스가 결합된 하이브리드 인프라를 구축·운영한 경험
• 베어메탈 GPU 노드와 InfiniBand, RoCE 등 고속 네트워크를 직접 구성·운영한 경험
• 대규모 모델 워크로드를 위한 고성능 스토리지를 설계하고, 대역폭·IOPS·지연시간과 비용을 함께 최적화한 경험
• LLM 서빙 환경의 자동 확장, 무중단 배포, 트래픽 부하 분산 구조를 구축하고 검증한 경험
• LLM Gateway 또는 추론 트래픽 라우팅 시스템을 설계하거나 라우팅 정책을 최적화한 경험
• 클라우드 매니지드 Kubernetes, 데이터베이스, 시크릿 관리 및 관측 솔루션을 운영한 경험
• SRE 방법론에 기반한 온콜 대응, 인시던트 사후 분석, SLO 운영 및 용량 계획 수립 경험