finetune

Stable Diffusion 系列教程 - 6 Dreambooth及训练

Stable-Diffusion、Imagen等文生图大模型已经具备了强大的生成能力，假设我们的Prompt为 [Cyberpunk Style]，SD或许能很快画出赛博朋克风格的一幅画。但你作为一个不知名的人，不能奢求SD在训练的时候把你自己想要的风格也加进去吧？…

文献阅读：Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning

文献阅读：Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning 1. 内容简介2. 相关工作 1. Weight Decay2. Top-K Tuning3. Mixout4. RecAdam5. R3F 3. 优化方案 1. ChildTuning-F2. ChildTuning-D 4. 实验设计 & 结果 1.…

ChatGLM LoRA微调实战方案

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…

Pyhon 大模型常见的微调方式，LLMs常见的Finetune方式；chatglm3微调实战；大模型微调通俗易懂总结

一、 LLMs微调微调（Fine-tuning）是指在一个已经训练好的神经网络模型基础上，使用额外的数据集或调整超参数，以实现特定任务的训练过程。在微调中，通常会固定预训练模型的大部分参数，只调整最后几层或特定层…

文献阅读：LoRA: Low-Rank Adaptation of Large Language Models

文献阅读：LoRA: Low-Rank Adaptation of Large Language Models 1. 文章简介2. 方法介绍3. 实验 & 结论 1. 基础实验 1. Bert系列模型2. GPT系列模型 2. 消解实验 1. 作用矩阵考察2. 中间维度考察3. 扰动程度分析 4. 总结 & 思考文献链接：htt…

吴恩达ChatGPT《Finetuning Large Language Models》笔记

课程地址：https://learn.deeplearning.ai/finetuning-large-language-models/lesson/1/introduction Introduction 动机：虽然编写提示词（Prompt）可以让LLM按照指示执行任务，比如提取文本中的关键词，或者对…

文献阅读：LIMA: Less Is More for Alignment

文献阅读：LIMA: Less Is More for Alignment 1. 内容简介2. 实验设计 1. 整体实验设计2. 数据准备3. 模型准备4. metrics设计 3. 实验结果 1. 基础实验2. 消解实验3. 多轮对话 4. 结论 & 思考文献链接：https://arxiv.org/abs/2305.11206 1. 内容简…