金灵象限

大模型的temperature和top_p

大语言模型,从用户侧感知就是用户对大模型说一段话或者文本,大模型可以给一段有效的反馈,这段反馈是符合和一个人交流的结果,如下图所示就是大模型文本生成的过程。 文本分词 计算机是无法理解复杂的文字的,我们需要把用户的输入转换成数字,这个过程就叫做分词,也就是Tokenization,Token是分词器

Administrator 发布于 2026-03-21

大模型多轮会话的模拟

如何让用户感知到在多轮对话模型中,大模型越来越聪敏呢?就是把用户每次的问题,模型每次的回答都记录下来,每次请求模型的时候都把原来的问题和模型的返回继续给模型,让模型再回答用户最新的问题,具体示例如下: from openai import OpenAI client = OpenAI( api_k

Administrator 发布于 2026-03-21

大模型的流式输出

目前对客的AI产品基本上都是流式输出的,下面是一个使用python流式输出的样例 from openai import OpenAI client = OpenAI( api_key = "xxxxxxx", base_url = "https://dashscope.aliyuncs.com/

Administrator 发布于 2026-03-21

关于python的yield用法

最近看一些python的代码,经常会出现yield,该关键字可以创建生成器,它的核心作用是让函数能够暂停执行并且返回一个值,然后在下次调用的时候从暂停的地方继续执行。也就是说函数执行到yield的地方,会暂时挂起,等待下次唤醒后继续执行。我们看个栗子 # 普通函数,一次性返回所有结果 def nor

Administrator 发布于 2026-03-21