上次更新:2024-05-30
FydeOS AI 是专为 FydeOS 打造的系统级 AI 助手,支持接入主流 AIGC 服务,并具备运行本地模型的能力。
目前 FydeOS AI 处于实验阶段,目前仅在 openFyde 上线。 支持的机型有:
FydeOS AI 功能对普通用户非常友好
文件路径 | 描述 |
---|---|
config/config.yaml | 设定加载模型时的默认参数 |
config/fix_freq_rk3588.sh | 设置在运行模型时,CPU 和 NPU 频率提高 |
参数名称 | 类型 | 描述 | 默认值 |
---|---|---|---|
modelPath | const char* | 模型文件的存放路径 | - |
target_platform | const char* | 模型运行的硬件平台,可选择的设置包括“rk3576”或“rk3588” | - |
num_npu_core | int32_t | 模型推理时使用的 NPU 核心数量,若 target_platform 设置为“rk3576”,可配置的范围为[1, 2];“rk3588”可配置的范围则为[1, 3] | - |
max_context_len | int32_t | 设置 prompt 的上下文大小 | - |
max_new_tokens | int32_t | 用于设置模型推理时生成 Token 的数量上限 | - |
top_k | int32_t | top-k 采样是一种文本生成方法,它仅从模型预测的前 k 个最可能的 Token 中选择下一个 Token。这种方法有助于减少生成低概率或无意义 Token 的风险。更高的 top-k 值(如 100)将考虑更多的 Token 选择,导致文本更加多样化;而更低的值(如 10)将聚焦于最可能的 Token,生成更加保守的文本。 | 40 |
top_p | float | top-p 采样,也被称为核心采样,是另一种文本生成方法,从累计概率至少为 p 的一组 Token 中选择下一个 Token。这种方法通过考虑 Token 的概率和采样的 Token 数量来在多样性和质量之间提供平衡。更高的 top-p 值(如 0.95)会使生成的文本更加多样化;而更低的值(如 0.5)将生成更加集中和保守的文本。 | 0.9 |
temperature | float | 控制生成文本随机性的超参数,它通过调整模型输出 Token 的概率分布来发挥作用;更高的温度(如 1.5)会使输出更加随机和创造性,当温度较高时,模型在选择下一个 Token 时会考虑更多可能性较低的选项,从而产生更多样和意想不到的输出;更低的温度(例 0.5)会使输出更加集中、保守,较低的温度意味着模型在生成文本时更倾向于选择概率高的 Token,从而导致更一致、更可预测的输出;温度为 0 的极端情况下,模型总是选择最有可能的下一个 Token,这会导致每次运行时输出完全相同。 | 0.8 |
repeat_penalty | float | 控制生成文本中 Token 序列重复的情况,帮助防止模型生成重复或单调的文本。更高的值(例如 1.5)将更强烈地惩罚重复,而较低的值(例如 0.9)则更为宽容。 | 1.1 |
frequency_penalty | float | 单词/短语重复度惩罚因子,减少总体上使用频率较高的单词/短语的概率,增加使用频率较低的单词/短语的可能性,这可能会使生成的文本更加多样化,但也可能导致生成的文本难以理解或不符合预期。设置范围为[-2.0,2.0]。 | 0 |
mirostat | int32_t | 在文本生成过程中主动维持生成文本的质量在期望的范围内的算法,它旨在在连贯性和多样性之间找到平衡,避免因过度重复(无聊陷阱)或不连贯(混乱陷阱)导致的低质量输出;取值空间为{0, 1, 2}, 0 表示不启动该算法,1 表示使用 mirostat 算法,2 则表示使用 mirostat2.0 算法。 | - |
mirostat_tau | float | 选项设置 mirostat 的目标熵,代表生成文本的期望困惑度值。调整目标熵可以让你控制生成文本中连贯性与多样性的平衡。较低的值将导致文本更加集中和连贯,而较高的值将导致文本更加多样化,可能连贯性较差。 | 5.0 |
mirostat_eta | float | 选项设置 mirostat 的学习率,学习率影响算法对生成文本反馈的响应速度。较低的学习率将导致调整速度较慢,而较高的学习率将使算法更加灵敏。 | 0.1 |
引用自 Rockchip_RKLLM_SDK_CN.pdf