轻松玩转书生·浦语大模型趣味 Demo
Homework - Demo
提交方式:在 CSDN 、知乎 、Github 等平台上传作业后,将链接贴至 飞书作业板 即可。
基础作业 (结营必做)
使用 InternLM2-Chat-1.8B 模型生成 300 字的小故事(需截图)
进阶作业 (优秀学员必做)
熟悉 huggingface 下载功能,使用 huggingface_hub python 包,下载 InternLM2-Chat-7B 的 config.json 文件到本地(需截图下载过程)
完成 浦语·灵笔2 的 图文创作 及 视觉问答 部署(需截图)
完成 Lagent 工具调用 数据分析 Demo 部署(需截图)
第三课作业
基础作业 - 任意选一个作业
- 在茴香豆 Web 版中创建自己领域的知识问答助手
参考视频零编程玩转大模型,学习茴香豆部署群聊助手
完成不少于 400 字的笔记 + 线上茴香豆助手对话截图(不少于5轮)
(可选)参考 代码 在自己的服务器部署茴香豆 Web 版
2.在 InternLM Studio 上部署茴香豆技术助手
根据教程文档搭建 茴香豆技术助手,针对问题"茴香豆怎么部署到微信群?"进行提问
完成不少于 400 字的笔记 + 截图
进阶作业 (作业难度非常难, 不用纠结,请先学完后续的课程内容再来做此处的进阶作业~)
A.【应用方向】 结合自己擅长的领域知识(游戏、法律、电子等)、专业背景,搭建个人工作助手或者垂直领域问答助手,参考茴香豆官方文档,部署到下列任一平台。
飞书、微信
可以使用 茴香豆 Web 版 或 InternLM Studio 云端服务器部署
涵盖部署全过程的作业报告和个人助手问答截图
B.【算法方向】尝试修改 good_questions.json、调试 prompt 或应用其他 NLP 技术,如其他 chunk 方法,提高个人工作助手的表现。
完成不少于 400 字的笔记 ,记录自己的尝试和调试思路,涵盖全过程和改进效果截图
大作业项目选题
A.【工程方向】 参与贡献茴香豆前端,将茴香豆助手部署到下列平台
Github issue、Discord、钉钉、X
B.【应用方向】 茴香豆RAG-Agent
应用茴香豆建立一个 ROS2 的机器人Agent
C.【算法方向】 茴香豆多模态
参与茴香豆多模态的工作
第 4 节课作业
记录复现过程并截图
基础作业(结营必做)
训练自己的小助手认知(记录复现过程并截图)
进阶作业
将自我认知的模型上传到 OpenXLab,并将应用部署到 OpenXLab(优秀学员必做)
复现多模态微调(优秀学员必做)
OpenXLab 部署教程:https://github.com/InternLM/Tutorial/tree/camp2/tools/openxlab-deploy
第五节课作业(请交到第5节课)
基础作业(结营必做)
完成以下任务,并将实现过程记录截图:
配置 LMDeploy 运行环境
以命令行方式与 InternLM2-Chat-1.8B 模型对话
进阶作业
完成以下任务,并将实现过程记录截图:
设置KV Cache最大占用比例为0.4,开启W4A16量化,以命令行方式与模型对话。(优秀学员必做)
以API Server方式启动 lmdeploy,开启 W4A16量化,调整KV Cache的占用比例为0.4,分别使用命令行客户端与Gradio网页客户端与模型对话。(优秀学员必做)
使用W4A16量化,调整KV Cache的占用比例为0.4,使用Python代码集成的方式运行internlm2-chat-1.8b模型。(优秀学员必做)
使用 LMDeploy 运行视觉多模态大模型 llava gradio demo。(优秀学员必做)
将 LMDeploy Web Demo 部署到 OpenXLab 。
第六节课作业
Tip
结营必做基础作业;优秀学员或进入对应 SIG 需完成进阶作业。
基础作业
完成 Lagent Web Demo 使用,并在作业中上传截图。文档可见 Lagent Web Demo
完成 AgentLego 直接使用部分,并在作业中上传截图。文档可见 直接使用 AgentLego。
进阶作业
完成 AgentLego WebUI 使用,并在作业中上传截图。文档可见 AgentLego WebUI。
使用 Lagent 或 AgentLego 实现自定义工具并完成调用,并在作业中上传截图。文档可见:
用 Lagent 自定义工具
用 AgentLego 自定义工具
大作业选题
算法方向
在 Lagent 或 AgentLego 中实现 RAG 工具,实现智能体与知识库的交互。
基于 Lagent 或 AgentLego 实现工具的多轮调用,完成复杂任务。如:智能体调用翻译工具,再调用搜索工具,最后调用生成工具,完成一个完整的任务。
...
应用方向
基于 Lagent 或 AgentLego 实现一个客服智能体,帮助用户解决问题。
基于 Lagent 或 AgentLego 实现一个智能体,实现艺术创作,如生成图片、视频、音乐等。
...
作业(第7节课)
基础作业
使用 OpenCompass 评测 internlm2-chat-1_8b 模型在 C-Eval 数据集上的性能
dataset version metric mode opencompass.models.huggingface.HuggingFace_Shanghai_AI_Laboratory_internlm2-chat-1_8b
---------------------------------------------- --------- ------------- ------ ---------------------------------------------------------------------------------------
ceval-computer_network db9ce2 accuracy gen 26.32
ceval-operating_system 1c2571 accuracy gen 36.84
ceval-computer_architecture a74dad accuracy gen 14.29
ceval-college_programming 4ca32a accuracy gen 13.51
ceval-college_physics 963fa8 accuracy gen 36.84
ceval-college_chemistry e78857 accuracy gen 12.5
ceval-advanced_mathematics ce03e2 accuracy gen 10.53
ceval-probability_and_statistics 65e812 accuracy gen 33.33
ceval-discrete_mathematics e894ae accuracy gen 18.75
ceval-electrical_engineer ae42b9 accuracy gen 27.03
ceval-metrology_engineer ee34ea accuracy gen 50
ceval-high_school_mathematics 1dc5bf accuracy gen 5.56
ceval-high_school_physics adf25f accuracy gen 31.58
ceval-high_school_chemistry 2ed27f accuracy gen 42.11
ceval-high_school_biology 8e2b9a accuracy gen 15.79
ceval-middle_school_mathematics bee8d5 accuracy gen 15.79
ceval-middle_school_biology 86817c accuracy gen 57.14
ceval-middle_school_physics 8accf6 accuracy gen 36.84
ceval-middle_school_chemistry 167a15 accuracy gen 60
ceval-veterinary_medicine b4e08d accuracy gen 43.48
ceval-college_economics f3f4e6 accuracy gen 43.64
ceval-business_administration c1614e accuracy gen 36.36
ceval-marxism cf874c accuracy gen 78.95
ceval-mao_zedong_thought 51c7a4 accuracy gen 45.83
ceval-education_science 591fee accuracy gen 68.97
ceval-teacher_qualification 4e4ced accuracy gen 68.18
ceval-high_school_politics 5c0de2 accuracy gen 47.37
ceval-high_school_geography 865461 accuracy gen 36.84
ceval-middle_school_politics 5be3e7 accuracy gen 57.14
ceval-middle_school_geography 8a63be accuracy gen 58.33
ceval-modern_chinese_history fc01af accuracy gen 60.87
ceval-ideological_and_moral_cultivation a2aa4a accuracy gen 68.42
ceval-logic f5b022 accuracy gen 31.82
ceval-law a110a1 accuracy gen 20.83
ceval-chinese_language_and_literature 0f8b68 accuracy gen 17.39
ceval-art_studies 2a1300 accuracy gen 51.52
ceval-professional_tour_guide 4e673e accuracy gen 62.07
ceval-legal_professional ce8787 accuracy gen 30.43
ceval-high_school_chinese 315705 accuracy gen 21.05
ceval-high_school_history 7eb30a accuracy gen 70
ceval-middle_school_history 48ab4a accuracy gen 72.73
ceval-civil_servant 87d061 accuracy gen 38.3
ceval-sports_science 70f27b accuracy gen 47.37
ceval-plant_protection 8941f9 accuracy gen 45.45
ceval-basic_medicine c409d6 accuracy gen 57.89
ceval-clinical_medicine 49e82d accuracy gen 40.91
ceval-urban_and_rural_planner 95b885 accuracy gen 45.65
ceval-accountant 002837 accuracy gen 38.78
ceval-fire_engineer bc23f5 accuracy gen 38.71
ceval-environmental_impact_assessment_engineer c64e2d accuracy gen 38.71
ceval-tax_accountant 3a5e3c accuracy gen 32.65
ceval-physician 6e277d accuracy gen 38.78
ceval-stem - naive_average gen 29.41
ceval-social-science - naive_average gen 54.16
ceval-humanities - naive_average gen 46.1
ceval-other - naive_average gen 42.11
ceval-hard - naive_average gen 23.9
ceval - naive_average gen 40.39
进阶作业
将自定义数据集提交至OpenCompass官网
提交地址:https://hub.opencompass.org.cn/dataset-submit?lang=[object%20Object]
提交指南:https://mp.weixin.qq.com/s/_s0a9nYRye0bmqVdwXRVCg
Tips:不强制要求配置数据集对应榜单( leaderboard.xlsx ),可仅上传 EADME_OPENCOMPASS.md 文档
欢迎扫码关注 OpenCompass 公众号了解更多评测相关知识~
image