轻松玩转书生·浦语大模型趣味 Demo

Homework - Demo
提交方式:在 CSDN 、知乎 、Github 等平台上传作业后,将链接贴至 飞书作业板 即可。

基础作业 (结营必做)

使用 InternLM2-Chat-1.8B 模型生成 300 字的小故事(需截图)
image

进阶作业 (优秀学员必做)

熟悉 huggingface 下载功能,使用 huggingface_hub python 包,下载 InternLM2-Chat-7B 的 config.json 文件到本地(需截图下载过程)
image

完成 浦语·灵笔2 的 图文创作 及 视觉问答 部署(需截图)

完成 Lagent 工具调用 数据分析 Demo 部署(需截图)

第三课作业

基础作业 - 任意选一个作业

  1. 茴香豆 Web 版中创建自己领域的知识问答助手
    参考视频零编程玩转大模型,学习茴香豆部署群聊助手
    完成不少于 400 字的笔记 + 线上茴香豆助手对话截图(不少于5轮)
    (可选)参考 代码 在自己的服务器部署茴香豆 Web 版
    2.在 InternLM Studio 上部署茴香豆技术助手
    根据教程文档搭建 茴香豆技术助手,针对问题"茴香豆怎么部署到微信群?"进行提问
    完成不少于 400 字的笔记 + 截图
    image
    进阶作业 (作业难度非常难, 不用纠结,请先学完后续的课程内容再来做此处的进阶作业~)
    A.【应用方向】 结合自己擅长的领域知识(游戏、法律、电子等)、专业背景,搭建个人工作助手或者垂直领域问答助手,参考茴香豆官方文档,部署到下列任一平台。
    飞书、微信
    可以使用 茴香豆 Web 版 或 InternLM Studio 云端服务器部署
    涵盖部署全过程的作业报告和个人助手问答截图
    B.【算法方向】尝试修改 good_questions.json、调试 prompt 或应用其他 NLP 技术,如其他 chunk 方法,提高个人工作助手的表现。
    完成不少于 400 字的笔记 ,记录自己的尝试和调试思路,涵盖全过程和改进效果截图
    大作业项目选题
    A.【工程方向】 参与贡献茴香豆前端,将茴香豆助手部署到下列平台
    Github issue、Discord、钉钉、X
    B.【应用方向】 茴香豆RAG-Agent
    应用茴香豆建立一个 ROS2 的机器人Agent
    C.【算法方向】 茴香豆多模态
    参与茴香豆多模态的工作

第 4 节课作业

记录复现过程并截图

基础作业(结营必做)
训练自己的小助手认知(记录复现过程并截图)
image
image

进阶作业
将自我认知的模型上传到 OpenXLab,并将应用部署到 OpenXLab(优秀学员必做)
复现多模态微调(优秀学员必做)
OpenXLab 部署教程:https://github.com/InternLM/Tutorial/tree/camp2/tools/openxlab-deploy

第五节课作业(请交到第5节课)

基础作业(结营必做)
完成以下任务,并将实现过程记录截图:

配置 LMDeploy 运行环境
以命令行方式与 InternLM2-Chat-1.8B 模型对话
image
进阶作业
完成以下任务,并将实现过程记录截图:

设置KV Cache最大占用比例为0.4,开启W4A16量化,以命令行方式与模型对话。(优秀学员必做)
image
以API Server方式启动 lmdeploy,开启 W4A16量化,调整KV Cache的占用比例为0.4,分别使用命令行客户端与Gradio网页客户端与模型对话。(优秀学员必做)
image
image
使用W4A16量化,调整KV Cache的占用比例为0.4,使用Python代码集成的方式运行internlm2-chat-1.8b模型。(优秀学员必做)
image
使用 LMDeploy 运行视觉多模态大模型 llava gradio demo。(优秀学员必做)
image
将 LMDeploy Web Demo 部署到 OpenXLab

第六节课作业

Tip

结营必做基础作业;优秀学员或进入对应 SIG 需完成进阶作业。

基础作业
完成 Lagent Web Demo 使用,并在作业中上传截图。文档可见 Lagent Web Demo
image
完成 AgentLego 直接使用部分,并在作业中上传截图。文档可见 直接使用 AgentLego
image
进阶作业
完成 AgentLego WebUI 使用,并在作业中上传截图。文档可见 AgentLego WebUI
使用 Lagent 或 AgentLego 实现自定义工具并完成调用,并在作业中上传截图。文档可见:
用 Lagent 自定义工具
用 AgentLego 自定义工具
大作业选题
算法方向
在 Lagent 或 AgentLego 中实现 RAG 工具,实现智能体与知识库的交互。
基于 Lagent 或 AgentLego 实现工具的多轮调用,完成复杂任务。如:智能体调用翻译工具,再调用搜索工具,最后调用生成工具,完成一个完整的任务。
...
应用方向
基于 Lagent 或 AgentLego 实现一个客服智能体,帮助用户解决问题。
基于 Lagent 或 AgentLego 实现一个智能体,实现艺术创作,如生成图片、视频、音乐等。
...

作业(第7节课)

基础作业
使用 OpenCompass 评测 internlm2-chat-1_8b 模型在 C-Eval 数据集上的性能


dataset                                         version    metric         mode      opencompass.models.huggingface.HuggingFace_Shanghai_AI_Laboratory_internlm2-chat-1_8b
----------------------------------------------  ---------  -------------  ------  ---------------------------------------------------------------------------------------
ceval-computer_network                          db9ce2     accuracy       gen                                                                                       26.32
ceval-operating_system                          1c2571     accuracy       gen                                                                                       36.84
ceval-computer_architecture                     a74dad     accuracy       gen                                                                                       14.29
ceval-college_programming                       4ca32a     accuracy       gen                                                                                       13.51
ceval-college_physics                           963fa8     accuracy       gen                                                                                       36.84
ceval-college_chemistry                         e78857     accuracy       gen                                                                                       12.5
ceval-advanced_mathematics                      ce03e2     accuracy       gen                                                                                       10.53
ceval-probability_and_statistics                65e812     accuracy       gen                                                                                       33.33
ceval-discrete_mathematics                      e894ae     accuracy       gen                                                                                       18.75
ceval-electrical_engineer                       ae42b9     accuracy       gen                                                                                       27.03
ceval-metrology_engineer                        ee34ea     accuracy       gen                                                                                       50
ceval-high_school_mathematics                   1dc5bf     accuracy       gen                                                                                        5.56
ceval-high_school_physics                       adf25f     accuracy       gen                                                                                       31.58
ceval-high_school_chemistry                     2ed27f     accuracy       gen                                                                                       42.11
ceval-high_school_biology                       8e2b9a     accuracy       gen                                                                                       15.79
ceval-middle_school_mathematics                 bee8d5     accuracy       gen                                                                                       15.79
ceval-middle_school_biology                     86817c     accuracy       gen                                                                                       57.14
ceval-middle_school_physics                     8accf6     accuracy       gen                                                                                       36.84
ceval-middle_school_chemistry                   167a15     accuracy       gen                                                                                       60
ceval-veterinary_medicine                       b4e08d     accuracy       gen                                                                                       43.48
ceval-college_economics                         f3f4e6     accuracy       gen                                                                                       43.64
ceval-business_administration                   c1614e     accuracy       gen                                                                                       36.36
ceval-marxism                                   cf874c     accuracy       gen                                                                                       78.95
ceval-mao_zedong_thought                        51c7a4     accuracy       gen                                                                                       45.83
ceval-education_science                         591fee     accuracy       gen                                                                                       68.97
ceval-teacher_qualification                     4e4ced     accuracy       gen                                                                                       68.18
ceval-high_school_politics                      5c0de2     accuracy       gen                                                                                       47.37
ceval-high_school_geography                     865461     accuracy       gen                                                                                       36.84
ceval-middle_school_politics                    5be3e7     accuracy       gen                                                                                       57.14
ceval-middle_school_geography                   8a63be     accuracy       gen                                                                                       58.33
ceval-modern_chinese_history                    fc01af     accuracy       gen                                                                                       60.87
ceval-ideological_and_moral_cultivation         a2aa4a     accuracy       gen                                                                                       68.42
ceval-logic                                     f5b022     accuracy       gen                                                                                       31.82
ceval-law                                       a110a1     accuracy       gen                                                                                       20.83
ceval-chinese_language_and_literature           0f8b68     accuracy       gen                                                                                       17.39
ceval-art_studies                               2a1300     accuracy       gen                                                                                       51.52
ceval-professional_tour_guide                   4e673e     accuracy       gen                                                                                       62.07
ceval-legal_professional                        ce8787     accuracy       gen                                                                                       30.43
ceval-high_school_chinese                       315705     accuracy       gen                                                                                       21.05
ceval-high_school_history                       7eb30a     accuracy       gen                                                                                       70
ceval-middle_school_history                     48ab4a     accuracy       gen                                                                                       72.73
ceval-civil_servant                             87d061     accuracy       gen                                                                                       38.3
ceval-sports_science                            70f27b     accuracy       gen                                                                                       47.37
ceval-plant_protection                          8941f9     accuracy       gen                                                                                       45.45
ceval-basic_medicine                            c409d6     accuracy       gen                                                                                       57.89
ceval-clinical_medicine                         49e82d     accuracy       gen                                                                                       40.91
ceval-urban_and_rural_planner                   95b885     accuracy       gen                                                                                       45.65
ceval-accountant                                002837     accuracy       gen                                                                                       38.78
ceval-fire_engineer                             bc23f5     accuracy       gen                                                                                       38.71
ceval-environmental_impact_assessment_engineer  c64e2d     accuracy       gen                                                                                       38.71
ceval-tax_accountant                            3a5e3c     accuracy       gen                                                                                       32.65
ceval-physician                                 6e277d     accuracy       gen                                                                                       38.78
ceval-stem                                      -          naive_average  gen                                                                                       29.41
ceval-social-science                            -          naive_average  gen                                                                                       54.16
ceval-humanities                                -          naive_average  gen                                                                                       46.1
ceval-other                                     -          naive_average  gen                                                                                       42.11
ceval-hard                                      -          naive_average  gen                                                                                       23.9
ceval                                           -          naive_average  gen                                                                                       40.39

进阶作业
将自定义数据集提交至OpenCompass官网
提交地址:https://hub.opencompass.org.cn/dataset-submit?lang=[object%20Object]
提交指南:https://mp.weixin.qq.com/s/_s0a9nYRye0bmqVdwXRVCg
Tips:不强制要求配置数据集对应榜单( leaderboard.xlsx ),可仅上传 EADME_OPENCOMPASS.md 文档

欢迎扫码关注 OpenCompass 公众号了解更多评测相关知识~

image