LLM API 연동기: 구글 Gemini로 나만의 AI 챗봇 '쓸봇' 만들기

웹 개발자라면 누구나 한 번쯤 "내 사이트에 인공지능 비서를 심어보면 어떨까?"라는 상상을 해보셨을 겁니다. 저 역시 '쓸툴'을 운영하면서 유저들이 게임 룰을 물어보거나 심심해할 때 말동무가 되어줄 친구가 필요하다고 느꼈습니다. 처음에는 '심심이'처럼 정해진 키워드에 대답하는 **규칙 기반(Rule-based)** 챗봇을 생각했습니다. 하지만 "안녕"에는 "반가워", "배고파"에는 "밥 먹어"라고 일일이 코딩하는 건 너무 구시대적인 방식이었죠. 게다가 "요즘 할만한 게임 추천 좀 해줄래?" 같은 복합적인 질문을 던지면 "이해하지 못했습니다"라는 앵무새 같은 답변만 돌아올 게 뻔했습니다.

그래서 과감하게 결단을 내렸습니다. 요즘 IT 업계의 게임 체인저인 **LLM(Large Language Model, 거대 언어 모델)**을 도입하기로요! 수많은 모델 중에서도 응답 속도가 빠르고, 특히 한국어 처리 능력이 탁월하며 가격 정책이 합리적인 **Google Gemini API**를 선택했습니다. 오늘은 단순히 API를 호출해서 텍스트를 띄우는 수준을 넘어, 우리 사이트만의 독특한 페르소나(Persona)를 가진 똑똑한 AI 챗봇 '쓸봇'을 탄생시킨 개발 과정을 아주 상세하게 공유해 보려 합니다.

1. "너는 이제부터 '쓸봇'이야" (프롬프트 엔지니어링의 정수)

API 키를 발급받고 연결만 한다고 끝이 아닙니다. 아무 설정 없이 질문을 던지면 "저는 구글에서 훈련된 대규모 언어 모델입니다"라는 교과서적이고 딱딱한 답변만 돌아옵니다. 이런 로봇 같은 말투는 유저들에게 친근감을 줄 수 없죠. 봇에게 '영혼'을 불어넣는 과정, 바로 **'프롬프트 엔지니어링(Prompt Engineering)'**이 필요한 순간입니다. 저는 '시스템 프롬프트(System Prompt)'에 다음과 같이 아주 구체적인 지시 사항을 주입했습니다.

"너의 이름은 '쓸봇'이야. 너는 이 사이트의 마스코트이자 친절한 가이드지. 말투는 딱딱하지 않게, 친구에게 말하듯이 '해요'체를 사용해 줘. 그리고 가끔은 아재 개그나 유머를 섞어서 분위기를 띄워줘. 우리 사이트에는 야추, 오목, 로또 같은 다양한 미니게임들이 있어. 유저가 '심심해'라고 하면 그냥 위로만 하지 말고, 구체적인 게임 링크와 함께 '이 게임 한 판 어때요?'라고 제안해 줘."

이렇게 구체적인 페르소나와 배경 지식(Context)을 주입하자, 봇의 태도가 180도 달라졌습니다. "심심해"라는 말에 "저런, 무료하시군요. 그럼 저랑 스릴 넘치는 야추 한 판 어떠세요? 링크는 여기 있어요!"라고 대답하는 모습을 보며, AI에게도 조기 교육(?)이 얼마나 중요한지 깨닫게 되었습니다.

2. 거짓말쟁이 AI 참교육하기 (할루시네이션 방지 전략)

하지만 개발 과정이 순탄치만은 않았습니다. 생성형 AI의 고질적인 문제인 **'할루시네이션(Hallucination)'**, 즉 거짓 정보를 마치 사실인 양 뻔뻔하게 말하는 현상이 발생했기 때문입니다. 유저가 "고스톱 있어?"라고 물으면, 우리 사이트엔 고스톱이 없는데도 "네! 신나는 고스톱 게임이 준비되어 있습니다"라며 존재하지 않는 링크를 던져주는 황당한 일이 벌어졌습니다. 이는 서비스 신뢰도에 치명적인 문제였습니다.

이를 해결하기 위해 프롬프트에 강력한 **'제약 조건(Constraints)'**을 추가했습니다. "너는 오직 내가 제공한 [게임 리스트]에 있는 정보만 말할 수 있어. 리스트에 없는 내용을 물어보면 솔직하게 '준비 중입니다'라고 답변해. 절대로 없는 URL을 지어내지 마."라고 명시했습니다. 또한, 욕설이나 정치적 발언 등 민감한 주제에 반응하지 않도록 API의 **안전 설정(Safety Settings)**을 'BLOCK_MOST' 단계로 높였습니다. 기술적 구현만큼이나 중요한 것이 바로 'AI 윤리'와 '서비스 안전성'이기 때문입니다.