원문
번역
Expanding is the task of taking a shorter piece of text, such as a set of instructions or a list of topics, and having the large language model generate a longer piece of text, such as an email or an essay about some topic. There are some great uses of this, such as if you use a large language model as a brainstorming partner. But I just also want to acknowledge that there's some problematic use cases of this, such as if someone were to use it, they generate a large amount of spam. So, when you use these capabilities of a large language model, please use it only in a responsible way, and in a way that helps people. In this video we'll go through an example of how you can use a language model to generate a personalized email based on some information. The email is kind of self-proclaimed to be from an AI bot which, as Andrew mentioned, is very important.
확장은 일련의 지침이나 주제 목록과 같은 짧은 텍스트 조각을 취하고 큰 언어 모델이 어떤 주제에 대한 이메일이나 에세이와 같은 긴 텍스트 조각을 생성하도록 하는 작업입니다. 대규모 언어 모델을 브레인스토밍 파트너로 사용하는 경우와 같이 유용한 용도가 있습니다. 그러나 누군가 이를 사용하는 경우 대량의 스팸을 생성하는 등 문제가 있는 사용 사례가 있음을 인정하고 싶습니다. 따라서 대규모 언어 모델의 이러한 기능을 사용할 때는 책임감 있고 사람들을 돕는 방식으로만 사용하세요. 이 동영상에서는 언어 모델을 사용하여 일부 정보를 기반으로 개인화된 이메일을 생성하는 방법의 예를 살펴보겠습니다. 이메일은 Andrew가 언급한 것처럼 매우 중요한 AI 봇에서 보낸 것이라고 자칭합니다.
We're also going to use another one of the model's input parameters called "temperature" and this kind of allows you to vary the kind of degree of exploration and variety in the kind of model's responses. So let's get into it! So before we get started we're going to kind of do the usual setup. So set up the OpenAI Python package and then also define our helper function "get_completion". And now we're going to write a custom email response to a customer review and so given a customer review and the sentiment we're going to generate a custom response. Now we're going to use the language model to generate a custom email to a customer based on a customer review and the sentiment of the review. So we've already extracted the sentiment using the kind of prompts that we saw in the inferring video and then this is the customer review for a blender. And now we're going to customize the reply based on the sentiment. And so here the instruction is "You are a customer service AI assistant. Your task is to send an email reply to a valued customer. Given the customer email delimited" by three backticks, "Generate a reply to thank the customer for their review. If the sentiment is positive or neutral, thank them for their review. If the sentiment is negative, apologize and suggest that they can reach out to customer service.
또한 '온도'라는 모델의 입력 매개변수 중 다른 하나를 사용할 것입니다. 이러한 유형을 통해 모델의 응답 유형에서 탐색 정도와 다양성을 변경할 수 있습니다. 그래서 그것에 들어가 보자! 따라서 시작하기 전에 일반적인 설정을 수행하겠습니다. 따라서 OpenAI Python 패키지를 설정한 다음 도우미 함수 'get_completion'도 정의하세요. 이제 고객 리뷰에 대한 맞춤형 이메일 응답을 작성할 것입니다. 고객 리뷰와 정서를 고려하여 맞춤형 응답을 생성할 것입니다. 이제 언어 모델을 사용하여 고객 리뷰와 리뷰 감정을 기반으로 고객에게 맞춤 이메일을 생성하겠습니다. 그래서 우리는 추론 비디오에서 본 프롬프트를 사용하여 감정을 이미 추출했으며 이것이 블렌더에 대한 고객 리뷰입니다. 이제 감정에 따라 답장을 맞춤설정하겠습니다. 따라서 여기에서 지침은 "당신은 고객 서비스 AI 비서입니다. 당신의 임무는 소중한 고객에게 이메일 답장을 보내는 것입니다. 백틱 3개로 구분된 고객 이메일이 주어졌을 때, "고객의 검토에 대한 감사의 답장을 생성하세요. 감정이 긍정적이거나 중립적이라면 검토해 주셔서 감사합니다. 부정적인 감정이라면 사과하고 고객 서비스에 문의할 수 있다고 제안하세요.
Make sure to use specific details from the review, write in a concise and professional tone and sign the email as 'AI customer agent'". And when you're using a language model to generate text that you're going to show to a user, it's very important to have this kind of transparency and let the user know that the text they're seeing was generated by AI. And then we'll just input the customer review and the review sentiment. And also note that this part isn't necessarily important because we could actually use this prompt to also extract the review sentiment and then in a follow-up step write the email. But just for the sake of the example, well, we've already extracted the sentiment from the review. And so, here we have a response to the customer. It addresses details that the customer mentioned in their review. And kind of as we instructed, suggests that they reach out to customer service because this is just an AI customer service agent. Next, we're going to use a parameter of the language model called "temperature" that will allow us to change the kind of variety of the model's responses.
리뷰의 특정 세부정보를 사용하고 간결하고 전문적인 어조로 작성하고 'AI 고객 상담원'으로 이메일에 서명해야 합니다. 사용자 여러분, 이런 종류의 투명성을 가지고 사용자가 보고 있는 텍스트가 AI에 의해 생성되었음을 사용자에게 알리는 것이 매우 중요합니다. 그런 다음 고객 리뷰와 리뷰 감정만 입력하겠습니다. 또한 이 부분은 실제로 이 프롬프트를 사용하여 리뷰 감정을 추출한 다음 후속 단계에서 이메일을 작성할 수 있기 때문에 반드시 중요하지는 않습니다. 하지만 예를 들어 이미 리뷰에서 감정을 추출했습니다. . 그래서 여기에 고객에 대한 답변이 있습니다. 고객이 리뷰에서 언급한 세부정보를 다룹니다. 그리고 지시한 대로 고객 서비스에 연락할 것을 제안합니다. 이 사람은 AI 고객 서비스 상담원일 뿐이기 때문입니다. 다음 , 모델 응답의 종류를 변경할 수 있는 '온도'라는 언어 모델의 매개변수를 사용할 것입니다.
So you can kind of think of temperature as the degree of exploration or kind of randomness of the model. And so for this particular phrase, "my favorite food is", the kind of most likely next word that the model predicts is "pizza", and the kind of next to most likely it suggests are "sushi" and "tacos". And so at a temperature of zero, the model will always choose the most likely next word, which in this case is "pizza", and at a higher temperature, it will also choose one of the less likely words, and even at an even higher temperature, it might even choose "tacos", which only kind of has a 5% chance of being chosen. And you can imagine that kind of as the model continues this final response, so my favorite food is pizza, and it kind of continues to generate more words, this response will kind of diverge from the response, the first response, which is my favorite food is tacos. And so as the kind of model continues, these two responses will become more and more different. In general, when building applications where you want a predictable response, I would recommend using temperature zero.
따라서 온도를 탐색 정도 또는 모델의 임의성으로 생각할 수 있습니다. 따라서 '내가 가장 좋아하는 음식은'이라는 특정 문구의 경우 모델이 예측할 가능성이 가장 높은 다음 단어는 '피자'이고 제안할 가능성이 가장 높은 다음 단어는 '스시'와 '타코'입니다. 따라서 온도가 0일 때 모델은 항상 가능성이 가장 높은 다음 단어(이 경우에는 '피자')를 선택하고 온도가 높으면 가능성이 낮은 단어 중 하나를 선택합니다. 더 높은 온도에서는 '타코'를 선택할 수도 있는데, 선택될 확률은 5%에 불과합니다. 그리고 모델이 이 마지막 응답을 계속하면서 그런 종류의 것을 상상할 수 있습니다. 그래서 내가 가장 좋아하는 음식은 피자이고 그것은 계속해서 더 많은 단어를 생성합니다. 이 응답은 내가 가장 좋아하는 첫 번째 응답인 응답과 다를 것입니다 음식은 타코. 따라서 모델의 종류가 계속됨에 따라 이 두 가지 응답은 점점 더 달라집니다. 일반적으로 예측 가능한 응답을 원하는 애플리케이션을 빌드할 때 온도 0을 사용하는 것이 좋습니다.
Throughout all of these videos, we've been using temperature zero, and I think that if you're trying to build a system that is reliable and predictable, you should go with this. If you're trying to use the model in a more creative way, where you might want a kind of wider variety of different outputs, you might want to use a higher temperature. So now let's take this same prompt that we just used, and let's try generating an email, but let's use a higher temperature. So in our "get_completion" function that we've been using throughout the videos, we have kind of specified a model and then also a temperature, but we've kind of set them to default. So now let's try varying the temperature. So we use the prompt, and then let's try temperature 0.7. And so with temperature zero, every time you execute the same prompt, you should expect the same completion. Whereas with temperature 0.7, you'll get a different output every time. So here we have our email, and as you can see, it's different to the email that we kind of received previously.
이 모든 동영상에서 우리는 온도 0을 사용해 왔으며 신뢰할 수 있고 예측 가능한 시스템을 구축하려는 경우 이 온도를 사용해야 한다고 생각합니다. 더 다양한 출력을 원하는 좀 더 창의적인 방식으로 모델을 사용하려는 경우 더 높은 온도를 사용하는 것이 좋습니다. 이제 방금 사용한 것과 동일한 프롬프트를 사용하여 이메일을 생성하되 더 높은 온도를 사용해 보겠습니다. 따라서 동영상 전체에서 사용해 온 'get_completion' 기능에서 일종의 모델을 지정한 다음 온도도 지정했지만 기본값으로 설정했습니다. 이제 온도를 변경해 보겠습니다. 따라서 프롬프트를 사용한 다음 온도 0.7을 시도해 보겠습니다. 따라서 온도가 0이면 동일한 프롬프트를 실행할 때마다 동일한 완료를 기대해야 합니다. 반면 온도가 0.7이면 매번 다른 출력을 얻게 됩니다. 여기 이메일이 있습니다. 보시다시피 이전에 받은 이메일과 다릅니다.
And let's just execute it again to show that we'll get a different email again. And here we have another different email. And so I recommend that you kind of play around with temperature yourself. Maybe you can pause the video now and try this prompt with a variety of different temperatures just to see how the outputs vary. So to summarize, at higher temperatures the outputs from the model are kind of more random. You can almost think of it as that at higher temperatures the assistant is more distractible but maybe more creative. In the next video we're going to talk more about the chat completions endpoint format and how you can create a custom chatbot using this format.
다시 실행하여 다른 이메일을 다시 받을 것임을 표시해 보겠습니다. 여기에 또 다른 이메일이 있습니다. 그래서 스스로 온도를 가지고 놀기를 권합니다. 지금 동영상을 일시중지하고 다양한 온도로 이 프롬프트를 시도하여 출력이 어떻게 달라지는지 확인할 수 있습니다. 요약하면 더 높은 온도에서 모델의 출력은 좀 더 무작위적입니다. 온도가 높을수록 어시스턴트가 더 주의가 산만해지지만 더 창의적일 수 있다고 거의 생각할 수 있습니다. 다음 동영상에서는 채팅 완료 엔드포인트 형식과 이 형식을 사용하여 맞춤 챗봇을 만드는 방법에 대해 자세히 설명하겠습니다.