大语言模型设置

在设计和测试提示词时，你通常会通过API与大语言模型进行交互。你可以配置一些参数来获取不同的提示词结果。

调整这些设置对于提高响应的可靠性和期望性很重要，而且找出适合你用例的正确设置需要一些实验。以下是使用不同大语言模型时会遇到的常见设置：

温度（Temperature） - 温度越低，输出的确定性越高，意味着总是选择最有可能的下一个词。相反提高温度，输出可以产生更多的随机性，鼓励更加多样化或更具创造性的输出，本质上是在增加其他可能词的权重。在应用中，如果是基于事实的问答这样的任务则使用较低的温度值，以鼓励更多事实和简洁的回答。对于诗歌生成或其他创造性任务，提高温度值可能会更有益。

最大长度（Maximum length） - 你可以通过调整最大长度来控制模型输出的字符数。指定最大响应数可以帮助你防止过长或不相关的响应，同时控制成本。

停止序列（Stop Sequences） - 停止序列是一串能停止模型生成词的字符串。指定停止序列是另一种控制模型响应长度和结构的方式。例如，你可以告诉模型生成的列表最多有10项，通过添加“11”作为停止序列。

顶部P（Top P） - 一种与温度相关的采样技术，称为核采样，你可以控制模型的确定性程度。如果你正在寻找精确和事实上的答案，请保持此值低。如果你正在寻找更多样化的回应，请增加到更高的值。使用顶部P意味着只有组成top_p概率质量的词被考虑用于响应，因此低的top_p值选择最有信心的回应。这意味着高的top_p值将使模型考虑更多可能的词，包括不太可能的词，从而导致更多样化的输出。一般建议是改变温度或顶部P，但不是两者都改。

频率惩罚（Frequency Penalty） - 频率惩罚对下一个词施加的惩罚与该词在响应和提示词中出现的次数成比例。频率惩罚越高，一个词重复出现的可能性就越低。这个设置通过对出现更多的词施加更高的惩罚，减少了模型响应中的词重复。

存在惩罚（Presence Penalty） - 存在惩罚也对重复的词施加惩罚，但与频率惩罚不同，所有重复的词的惩罚都是相同的。出现两次的词和出现10次的词受到的惩罚相同。这个设置阻止模型在其响应中过于频繁地重复短语。如果你希望模型生成多样化或创造性文本，你可能希望使用更高的存在惩罚。或者，如果你需要模型保持专注，尝试使用较低的存在惩罚。与温度和顶部P类似，一般建议是改变频率或存在惩罚，但不是两者都改。

在开始一些基本示例之前，请记住，你的结果可能因你使用的大语言模型版本而异。