让机器认识我的手

课堂学习单 彭望@长沙市望城区雅礼丁江学校信息组

1 / 10
💡 全部点一点就行,不用打字。

你在哪个班、第几组?👋

班级(点一下)
小组(点一下)

点错了就重点一下,老师靠它看你的记录。

🎬 课前预学 · 翻转微课

📺 观看微课:机器是怎样认识手势的?

请认真观看微课视频,了解机器识别手势的奥秘,为接下来的实验探究做好准备!

💡微课思考锦囊(边看边想):

1. 机器如何看手? 需要先通过摄像头采集大量手部图像,告诉机器“这是什么手势”。
2. 21个骨骼关键点? 算法在手上标注21个特征坐标,把复杂的图像简化为空间数据。
3. 为什么多角度重要? 如果只录1张,换个角度或换个人就会认错;样本越多样越聪明!
前测 · 3 题

上课前,你怎么想?

凭感觉点,没有对错。

环节二 · 追根溯源

我当「关键点检测器」 🔍

模拟机器检测手部关键点,探索机器是如何处理手部特征的

任务 1

🟡 课堂小任务:给同桌贴圆点贴

🟡
模拟机器提取手部特征
拿出 5 张黄色圆点贴 贴在同桌手指尖,模拟机器检测「手部关键点」,数一数伸直了几根:
✊
握拳时
伸直了几根手指?
根
🖐
张开手掌时
伸直了几根手指?
根
问题 2

💬 机器需要认识「手」吗?(可多选)

💬 想自己写两句?(点此展开)
★ 想一想

机器拿到数字 0 和 5,它怎么知道 0 是握拳、5 是张开?

💬 想自己写两句?(点此展开)
环节三 · 第一轮实验

第一次训练:又少又单一 🏋️

按照最简单的方式录制并训练模型,看看它能识别得准吗?

规则指引

⏱️ 第一轮操作规则与流程

按住 1 秒 ⏱ 手不许动 🚫
不换角度 · 不换远近 · 不换手(只录入极少量、单一角度的照片)
1命名两类手势
➔
2按住 1 秒录制
➔
3点【模型训练】
➔
4自己测 & 同桌测
任务记录

📝 第一轮实验数据记录台

📸
界面显示样本数约
看训练界面显示的有效照片张数
张
🙋
自测(自己的手)成功
用自己的手测试 10 次,记录成功了几次
/ 10 次
🤝
互考(同桌的手)成功 ★ 关键检验
换同桌的手测试 10 次,检验模型的泛化能力
/ 10 次
问问 AI · 寻找原因

为什么认不出同桌的手?🤔

带入第一轮实验真实数据,向 AI 请教,再进行思辨!

📊 带入你第 1 轮实验数据: 样本约 3 张 · 同桌互考成功 0 / 10 次
探究 1

🤖 呼唤小向导雷小锋:探讨为什么认不出同桌

遇到困难不用怕!小向导雷小锋已经准备好了,带入你第一轮的实验数据向他请教吧:
问题 2

🤔 结合第一轮实验,你怎么看?

💬 想自己写两句?(点此展开)
环节四 · 第二轮实验

再训练一次:又多又变 🔄

通过「加长时间 + 连续变换」增加样本数量与丰富度,再次训练并检验!

规则指引

⏱️ 采集核心口诀与操作流程

按住 5 秒 ⏱ 手一直动 🔄
换角度 · 换远近 · 换左右手(建议每类录制 15~30 张)
1按住 5 秒边按边动
➔
2点【模型训练】
➔
3看数据图表
➔
4同桌互考测 10 次
策略思考

💡 制定采集策略:怎样采集才能让模型更准?(可多选)

根据上一轮的反思,你打算在第 2 轮实验中采取哪些新办法来训练模型?点选下方短语卡片:

💬 想自己写两句?(点此展开)
💡 缺少灵感?可以随时点击右下角小向导雷小锋问问:“怎样改进才能让同桌也能识别?”
任务记录

📝 第二轮实验数据记录台

📸
界面显示样本数约
看训练界面显示的有效照片张数
张
🙋
自测(自己的手)成功
用自己的手测试 10 次,记录成功了几次
/ 10 次
🤝
互考(同桌的手)成功 ★ 关键检验
换同桌的手测试 10 次,检验模型的泛化能力
/ 10 次
成效检验

📊 成效验证与两轮对比

环节五 · 挑战 AI ⚔️

AI 这句话,对吗?

用你在两轮实验中记录的真实数据说话,敢于向 AI 的断言提出质疑!

观点靶子

🎯 审视 AI 的主张:这句话完全对吗?

🧐 思考背景:许多人或某些 AI 常断言上面这句话。但回想你在环节三(1秒单一姿势)与环节四(5秒连续变换)的实验数据对比,你赞同这句话吗?
我的判断

🗳️ 用你的实验数据说话,做出你的判断

根据你两轮训练的真实效果,你认同它的话吗?

💬 想自己写两句?(点此展开)
环节五 · 诊断与优化

让它更准一点 🔧

除了多采集和变换手势,还有哪些提升模型准确率的实战妙招?

问题 1

❓ 它什么时候会认错?(可多选)

问题 2

🛠️ 老师给的优化办法,试过的点上:

效果检验

📊 镜像增强前 vs 后的误判次数记录

◀️
开镜像增强前误判
测试 5 次,误判了几次
/ 5 次
▶️
开镜像增强后误判
测试 5 次,误判降到了几次
/ 5 次
后测 · 3 题

上完课,想法变了吗?

还是那 3 道题。

🎉

学习单完成啦!

回头看看这堂课:

设计与执教:彭望 @ 长沙市望城区雅礼丁江学校信息组

👋 有手势识别的问题就来问我!
小向导雷小锋
小向导雷小锋 · AI智能体 在线
手势识别课专属智能体 · 随时启发你思考
💡 点一下就能问: