최근에 LLM 기반의 코딩 도구를 만들고 있는데, 사람들과 애기하다가 깨달은 게 있다.

LLM은 똑똑하지만 아직 멍청한 구석도 많다. 그래서 LLM 기반의 어플리케이션을 만들고 싶다면 작업을 엄청나게 잘게 쪼개야한다. 잘게 쪼개는 단위? 검증이 가능하면 그게 최소 단위다. 한 작업이 A부터 C까지가 (인간 기준) 원래 한 세트인 경우에도, A만 요구한 뒤 A만 검증하고 검증이 끝나면 그 결과물을 가지고 B를 진행해야한다.

이 깨달음을 어제 친구들 만나러 가는 지하철에서 얻은 관계로 아직 적용해보진 못했지만, 작업을 검증이 가능한 최소 단위로 자르면 AI한테 보내는 요청도 훨씬 간단해진다. API 호출 횟수는 늘어날 수도 있겠지만, LLM은 토큰 기반으로 과금을 하니까 비용적인 측면에서도 훨씬 나을 것 같은데, 이는 확실하진 않아서 실험해볼 예정이다.