Estom的博客

transofrmers最简单的说明 参考文档https://transformers.run/c2/2021-12-08-transformers-note-1/https://fancyerii.github.io/2021/05/11/huggingface-transformers-1/#%E7%AE%80%E4%BB%8B官方文档https://huggingface.co/docs/transformers/v4.36.1/zh/index 是什么目前各种Pretraining的Transformer模型层出不穷，虽然这些模型都有开源代码，但是它们的实现各不相同，我们在对比不同模型时也会很麻烦。Huggingface Transformer能够帮我们跟踪流行的新模型，并且提供统一的代码风格来使用BERT、XLNet和GPT等等各种不同的模型。 基本原则huggingface的transfomers工具库，只有configuration，models和tokenizer三个主要类。所有的模型都可以通过统一的from_pretrained()函数来实现加载，transf...

https://blog.csdn.net/muyao987/article/details/125411129 安装1pip install evaluate 检查是否安装成功 12python -c "import evaluate; print(evaluate.load('accuracy').compute(references=[1], predictions=[1]))" load加载评估指标 evaluate中的每个指标都是一个单独的Python模块，通过 evaluate.load()（点击查看文档） 函数快速加载，其中load函数的常用参数如下： path：必选，str类型。可以是指标名（如 accuracy 或 社区的铁汁们贡献 的 muyaostudio/myeval），如果源码安装还可以是路径名（如./metrics/rouge 或 ./metrics/rogue/rouge.py）。我用的后者，因为直接传指标名会联网下载评价脚本，但单位的网不给力。...

说明参数高效微调（PEFT）方法在微调过程中冻结预训练模型的参数，并在其顶部添加少量可训练参数（adapters）。adapters被训练以学习特定任务的信息。这种方法已被证明非常节省内存，同时具有较低的计算使用量，同时产生与完全微调模型相当的结果。 使用安装12pip install peft 加载adapter要从huggingface的Transformers库中加载并使用PEFTadapter模型，请确保Hub仓库或本地目录包含一个adapter_config.json文件和adapter权重，如上例所示。然后，您可以使用AutoModelFor类加载PEFT adapter模型。例如，要为因果语言建模加载一个PEFT adapter模型： 指定PEFT模型id将其传递给AutoModelForCausalLM类 1234from transformers import AutoModelForCausalLM, AutoTokenizerpeft_model_id = "ybelkada/opt-350m-lora"model = AutoModel...