코드 리뷰는 소프트웨어 품질을 유지하는 핵심 과정이지만, 동료의 시간을 많이 소요하게 만드는 작업이기도 합니다. GitHub Copilot이나 ChatGPT 같은 AI 도구가 훌륭한 보조 수단이 되었지만, 민감한 코드를 외부 API로 전송하는 것에 대한 보안 우려나 비용 문제는 여전히 남아있습니다.
이 글에서는 이러한 문제를 해결하기 위해 로컬 환경에서 완전히 독립적으로 동작하는 코드 리뷰 CLI(Command-Line Interface) 도구를 직접 만들어 보겠습니다. 인기 있는 로컬 LLM 실행 도구인 Ollama와 Python을 사용하여, 외부 네트워크 연결 없이 안전하고 빠르게 코드에 대한 피드백을 받는 방법을 알아봅니다.
대규모 언어 모델(LLM)은 방대한 텍스트 데이터를 기반으로 놀라운 언어 능력을 보여줍니다. 하지만 LLM은 그 자체로 외부 세계와 단절되어 있습니다. 실시간 주식 정보를 가져오거나, 데이터베이스에 쿼리하거나, 이메일을 보내는 등의 작업은 직접 수행할 수 없습니다. 이 한계를 극복하는 핵심 기술이 바로 ‘Tool Use’, 즉 함수 호출(Function Calling)입니다.
이 글에서는 Google의 Gemini 1.5 Pro 모델을 중심으로 Tool Use의 개념과 동작 원리를 설명합니다. 단순히 API를 호출하는 것을 넘어, 실무에서 마주할 수 있는 트레이드오프와 잠재적인 실패 사례까지 깊이 있게 다룹니다. 이를 통해 LLM을 단순한 챗봇이 아닌, 실제 작업을 수행하는 에이전트로 만드는 첫걸음을 뗄 수 있을 것입니다.
수많은 AI 코딩 보조 도구가 등장했습니다. GitHub Copilot이 기본적인 자동 완성을 넘어 개발 워크플로의 일부가 되었고, 각 IDE는 자체 AI 기능을 속속 내장하고 있습니다. 하지만 대부분 기존 편집기에 플러그인 형태로 추가되는 방식에 머무릅니다.
Cursor는 조금 다른 접근법을 취합니다. VS Code를 기반으로 하지만, 처음부터 AI와의 상호작용을 중심에 두고 설계된 ‘AI 네이티브’ IDE를 표방합니다. 단순 코드 완성을 넘어, 코드베이스 전체의 맥락을 이해하고 사용자와 대화하며 소프트웨어를 만들어가는 경험을 제안합니다. 이 글에서는 Cursor를 실제 업무에 도입하며 겪은 설정 과정, 인상 깊었던 기능, 그리고 부딪혔던 명확한 한계점을 공유합니다.
개발자는 코드 작성 외에도 수많은 인지적 노동을 합니다. 레거시 코드를 분석하고, 더 나은 구조를 고민하며 리팩토링하고, 변경 사항을 명확히 설명하는 커밋 메시지를 작성하는 일들입니다. GitHub Copilot이 코드 자동 완성의 시대를 열었다면, 이제 AI 도구들은 개발 워크플로 전체에 더 깊이 관여하고 있습니다.
JetBrains AI Assistant는 우리가 매일 사용하는 IntelliJ, PyCharm, WebStorm 같은 IDE에 직접 통합된 AI 도구입니다. 단순 코드 조각 생성을 넘어, IDE가 가진 풍부한 코드 인덱싱 정보를 바탕으로 훨씬 더 문맥에 맞는 제안을 하는 것을 목표로 합니다.
이 글에서는 JetBrains AI Assistant의 기본 설정부터 실무에서 유용한 핵심 기능, 그리고 제가 직접 겪은 실패 사례와 기술적 트레이드오프까지 시니어 개발자의 관점에서 솔직하게 다루겠습니다.
AI 기반 애플리케이션, 특히 LLM(대규모 언어 모델)을 활용하는 시스템은 복잡한 내부 동작으로 인해 종종 ‘블랙박스’처럼 느껴지곤 합니다. 사용자의 프롬프트가 입력되고 그럴듯한 결과가 출력되지만, 그 과정에서 어떤 일이 벌어지는지, 비용은 얼마나 발생하는지, 어디서 병목이 생기는지 파악하기는 매우 어렵습니다. 기존의 서버 모니터링 방식으로는 CPU, 메모리 사용량 정도만 알 수 있을 뿐, LLM 애플리케이션의 핵심인 ‘품질’, ‘비용’, ‘지연 시간’을 추적할 수 없습니다.
이러한 문제를 해결하기 위해 LLMOps(LLM Operations)의 핵심 요소인 관측성(Observability) 확보가 필수적입니다. LLM 관측성은 단순히 로그를 쌓는 것을 넘어, 모델의 모든 요청과 응답, 내부 처리 과정을 상세히 추적하고, 성능 지표를 시각화하며, 사용자 피드백을 수집하여 AI 애플리케이션을 데이터 기반으로 개선할 수 있게 해주는 엔지니어링 실천법입니다. 좋은 관측성 시스템이 없다면, 우리는 문제 발생 시 원인을 추측에 의존해야 하며, 비용 최적화나 성능 개선은 불가능에 가깝습니다.
본 포스트에서는 LangChain 개발팀이 만든 LLM 애플리케이션 개발 플랫폼인 LangSmith를 활용하여, 프로덕션 환경에서 LLM 애플리케이션의 관측성을 완벽하게 구축하는 방법을 단계별로 상세히 다룹니다. LangSmith를 통해 복잡한 RAG(Retrieval-Augmented Generation) 파이프라인이나 AI 에이전트의 실행 과정을 추적하고, 토큰 비용과 지연 시간을 분석하며, 품질 평가를 자동화하는 실전 노하우를 얻어 가시길 바랍니다.