-
LLM
大型语言模型(Large Language Model)的缩写。是一种通过海量文本数据训练，能够理解和生成人类语言的人工智能系统 -
token
AI大模型调用中，模型处理文本的基本单位。各家算法切字逻辑，但是大致一个token约等于一个汉字左右。 具体可以看各家厂商提供的切词可视化工具OpenAl:https:/lplatform.epenai.com/tokenizer
文心一言:https://console.bce.baidu.com/support/#/tokenizer
阿里干间:https://dashscope.console.alivun.com/tokenizer -
模型参数
调用模式时可以设置的一些参数，每个模型支持的参数会有一些参数，都是大部分参数都是相同的
常见参数:
Temperature(温度):控制生成文本的随机性。值越低(如0.2)，输出越确定、保守和专注;值越高(如0.9)，输出越具有创造性和多样性，但也可能更不连贯
Top·p(核采样):与Temperature类似，用于控制采样的多样性。它从累积概率超过阈值p的最可能候选词中随机选择。较低的值(如0.5)限制选择范围，输出更可预测;较高的值(如0.9)则扩大选择范围o
Max Tokens (最大生成长度):限制模型单次响应所能生成的最大token数量。设置过短可能导致回答被截断。 -
流式响应
类似于我们使用Deepseek时AI给我们一个字一个字的回答的效果。
目前流式响应主要是使用SSE技术实现的。 -
message
目前主要是4种消息角色。
osystem(系统消息，用于设定AI的行为和角色)
ouser(用户消息，来自用户的输入)
o assistant(助手消息，来自AI的回复)
otool(工具调用消息) -
Prompt(提示词)
是您传递给A1模型的指令或问题。简单来说，Prompt是你用来告诉A"做什么"和"怎么做"的话,
