Prompt Engineering

Tree of Thought기존 Chain of Thought(CoT) 방식은 LLM이 문제 해결 시 연속된 단일 추론 경로(chain)에 의존하게 된다.그러나 탐색(exploration)이나 전략적인 미래 예측(lookahead)이 필요한 복잡한 문제에서는 한 번의 직선적인 추론만으로는 부족하다. 이를 해결하기 위해 Tree of Thoughts가 제안되었다.  ToT는 생각(추론 단계)를 트리 구조로 확장하여 문제를 해결하는 과정에서 다양한 분기점을 동시에 고려한다.각 중간 단계(thought)를 모델이 자체 평가(self-evaluation) 하며 이 경로가 유망하다, 혹은 불가능/의미 없다고 판단하여 해당 경로를 배제할지 계속 탐색할지 결정하게 된다.탐색 방법은 BFS/DFS/Beam Search..

Meta PromptingMeta Prompting은 문제 해결 과정의 구조와 형식에 초점을 맞추는 기법이다.구체적인 콘텐츠 (수치, 예제) 대신 문제의 양식, 해결 단계를 추상화해서 제시함으로써 모델이 형식을 우선적으로 인식하도록 유도한다.  Meta Prompting의 특징은 다음과 같다.Structure-Oriented: 문제 내용이 아니라 해결 과정의 문서 구조(문제 설명, 해결 단계, 최종 답)과 같은 형식에 집중한다.Syntax-Focused: 답변이 어떤 문법과 템플릿을 따라야 하는지 강조한다.Abstract Examples: 일반화된 예시를 통해, 특정 예시가 아닌 '이런 식으로 문제를 분석한다'라는 큰 틀을 보여준다.Versatile : 구체적인 예시 없이 형식을 공통적으로 제시하기 때문..

Zero-Shot PromptingZero-shot prompting은 모델에 예제를 주지 않고 "이 작업을 수행해라"와 같은 지시(instruction)을 주어 답변을 생성하게 하는 방식이다.GPT-3.5, GPT-4, Claude 3과 같은 최신 LLM들은 거대한 데이터로 사전학습되고 추가로 Instruction 학습과 RLHF 기법을 통해 일반 사용자의 지시를 이해하는 학습을 하였다.이로 인해 예시를 주지 않아도 모델이 이미 학습과정에서 축적한 지식을 통해 많은 작업을 바로 수행할 수 있게 되었으며, 이것이 Zero-shot이 가능한 이유이다. # Prompt"Classify the text into neutral, negative or positive.Text: I think the vacatio..

LLM과 상호작용할 때 다양한 설정 값을 조정하여 프롬프트의 성능을 최적화할 수 있다.이러한 설정으로 모델의 응답 품질, 다양성, 집중도를 조절하는데 중요한 역할을 하며, 각 설정은 특정한 목적에 맞게 사용해야 최상의 결과를 얻을 수 있다. Temperature: 창의성과 결정론의 균형Temperature는 모델의 출력을 얼마나 결정적(Determinisitc)하게 만들지를 제어한다.Temperature의 값이 낮을수록(0.2) 모델은 가장 가능성이 높은 토큰을 선택하여 결과를 생성한다.Temperature의 값이 높을수록(0.8) 모델은 상대적으로 가능성이 낮은 토큰도 선택할 확률이 증가하게 되고, 더 창의적이고 다양성이 높은 출력을 제공한다.이는 Temperature 값이 Softmax 출력의 확률 ..

Prompt Engineering의 정의와 중요성ChatGPT의 출시 이후 많은 산업군에서 대격변이 일어났다고 해도 과언이 아니다.특히 제가 포함되어 있는 개발직군에도 많은 사람들이 ChatGPT를 이용해 업무를 진행하고,더 나아가 ChatGPT를 활용한 서비스를 개발해 많은 스타트업들이 사업을 진행하고 있다.ChatGPT를 활용한 서비스는 결국 프롬프트 엔지니어링이 핵심이고 프롬프트 엔지니어들의 연봉이 화제가 되기도 했다.프롬프트 엔지니어링이 과연 무엇이고, 어떻게 ChatGPT를 잘 활용할 수 있는지 알아보자.  프롬프트 엔지니어링(Prompt Engineering)은 ChatGPT, LLaMa 등 대규모 언어모델, 즉 LLM의 성능을 최대화하기 위해 프롬프트 설계와 최적화를 연구하는 기술 분야이다...