这是第二个范例,小斤将介绍如何使
用OpenNI让Kinect识别出手势,并显示输出。目前版本的OpenNI支持四种手势:RaiseHand, Wave,
Click和MovingHand,分别代表手的“举起”,“挥动”,“前推”和“移动”四种动作。值得一提的是,当前微软官方的Kinect
SDK还不支持手势识别,也可以说是使用OpenNI的好处之一吧。
有了手势识别后,其实可以利用Kinect做一些实际的东东,比如利用鼠标键盘控制一些应用程序等等。
闲话不说了,速度搞起。代码一部分参考了Heresy童鞋的文章
,手势部分写得很完备了,在巨人的肩膀上,小斤使用OpenCV进行显示,红色点表示手的位置轨迹,蓝色实心圈表示前推的位置,黄色直线表示手挥动的轨迹(从起点到终点)。
#include <stdlib.h>
#include <iostream>
#include "opencv/cv.h"
#include "opencv/highgui.h"
#include <XnCppWrapper.h>
using namespace std;
using namespace cv;
// output for XnPoint3D
ostream& operator<<( ostream& out, const XnPoint3D& rPoint )
{
out << "(" << rPoint.X << "," << rPoint.Y << "," << rPoint.Z << ")";
return out;
}
//【4】
// callback function for gesture recognized
void XN_CALLBACK_TYPE gestureRecog( xn::GestureGenerator &generator,
const XnChar *strGesture,
const XnPoint3D *pIDPosition,
const XnPoint3D *pEndPosition,
void *pCookie )
{
cout << strGesture<<" from "<<*pIDPosition<<" to "<<*pEndPosition << endl;
int imgStartX=0;
int imgStartY=0;
int imgEndX=0;
int imgEndY=0;
char locationinfo[100];
imgStartX=(int)(640/2-(pIDPosition->X));
imgStartY=(int)(480/2-(pIDPosition->Y));
imgEndX=(int)(640/2-(pEndPosition->X));
imgEndY=(int)(480/2-(pEndPosition->Y));
IplImage* refimage=(IplImage*)pCookie;
if(strcmp(strGesture,"RaiseHand")==0)
{
cvCircle(refimage,cvPoint(imgStartX,imgStartY),1,CV_RGB(255,0,0),2);
}
else if(strcmp(strGesture,"Wave")==0)
{
cvLine(refimage,cvPoint(imgStartX,imgStartY),cvPoint(imgEndX,imgEndY),CV_RGB(255,255,0),6);
}
else if(strcmp(strGesture,"Click")==0)
{
cvCircle(refimage,cvPoint(imgStartX,imgStartY),6,CV_RGB(0,0,255),12);
}
cvSetImageROI(refimage,cvRect(40,450,640,30));
CvFont font;
cvInitFont( &font, CV_FONT_VECTOR0,1, 1, 0, 3, 5);
cvSet(refimage, cvScalar(255,255,255));
sprintf(locationinfo,"From: %d,%d to %d,%d",(int)pIDPosition->X,(int)pIDPosition->Y,(int)(pEndPosition->X),(int)(pEndPosition->Y));
cvPutText(refimage, locationinfo ,cvPoint(30, 30), &font, CV_RGB(0,0,0));
cvResetImageROI(refimage);
}
void clearImg(IplImage* inputimg)
{
CvFont font;
cvInitFont( &font, CV_FONT_VECTOR0,1, 1, 0, 3, 5);
memset(inputimg->imageData,255,640*480*3);
cvPutText(inputimg, "Hand Raise!" ,cvPoint(20, 20), &font, CV_RGB(255,0,0));
cvPutText(inputimg, "Hand Wave!" , cvPoint(20, 50), &font, CV_RGB(255,255,0));
cvPutText(inputimg, "Hand Push!" , cvPoint(20, 80), &font, CV_RGB(0,0,255));
}
//【5】
// callback function for gesture progress
void XN_CALLBACK_TYPE gestureProgress( xn::GestureGenerator &generator,
const XnChar *strGesture,
const XnPoint3D *pPosition,
XnFloat fProgress,
void *pCookie )
{
cout << strGesture << ":" << fProgress << " at " << *pPosition << endl;
}
int main( int argc, char** argv )
{
IplImage* drawPadImg=cvCreateImage(cvSize(640,480),IPL_DEPTH_8U,3);
IplImage* cameraImg=cvCreateImage(cvSize(640,480),IPL_DEPTH_8U,3);
cvNamedWindow("Gesture",1);
cvNamedWindow("Camera",1);
clearImg(drawPadImg);
XnStatus res;
char key=0;
// context
xn::Context context;
res = context.Init();
xn::ImageMetaData imgMD;
// create generator
xn::ImageGenerator imageGenerator;
res = imageGenerator.Create( context );
//【1】
xn::GestureGenerator gestureGenerator;
res = gestureGenerator.Create( context );
//【2】
// Add gesture
//gestureGenerator.AddGesture( "MovingHand", NULL );
gestureGenerator.AddGesture( "Wave", NULL );
gestureGenerator.AddGesture( "Click", NULL );
gestureGenerator.AddGesture( "RaiseHand", NULL );
//gestureGenerator.AddGesture("MovingHand",NULL);
/【3】
// 6. Register callback functions of gesture generator
XnCallbackHandle handle;
gestureGenerator.RegisterGestureCallbacks( gestureRecog, gestureProgress, (void*)drawPadImg, handle );
//start generate data
context.StartGeneratingAll();
res = context.WaitAndUpdateAll();
while( (key!=27) && !(res = context.WaitAndUpdateAll()) )
{
if(key=='c')
{
clearImg(drawPadImg);
}
imageGenerator.GetMetaData(imgMD);
memcpy(cameraImg->imageData,imgMD.Data(),640*480*3);
cvCvtColor(cameraImg,cameraImg,CV_RGB2BGR);
cvShowImage("Gesture",drawPadImg);
cvShowImage("Camera",cameraImg);
key=cvWaitKey(20);
}
cvDestroyWindow("Gesture");
cvDestroyWindow("Camera");
cvReleaseImage(&drawPadImg);
cvReleaseImage(&cameraImg);
context.StopGeneratingAll();
context.Shutdown();
return 0;
}
【1】看过上一篇文章的童鞋应该已经了解了生成器的用法(传送门
),对于手势识别,小斤使用了GestureGenerator这个生成器,它的创建方式与ImageGenerator一致,使用Context作为参数调用Create方法。
【2】GestureGenerator创建后,只有我们告诉它,要识别什么手势它才干活。这边使用AddGesture方法,把手势加入。
【3】这一步小斤注册了GestureGenerator相关的回调函数:
XnStatus xn::GestureGenerator::RegisterGestureCallbacks (GestureRecognized RecognizedCB, GestureProgress ProgressCB, void * pCookie, XnCallbackHandle & hCallback )
其中定义RecognizedCB是手势识别后的回调函数,ProgressCB是手势进行中的回调函数。pCookie是传给回调函数的指针,可以放一些用户数据,代码中,小斤把程序的画板图像指针传给了回调函数,这样便可以在回调函数中直接绘图了。hCallback是一个回调函数的handle,可用来注销回调函数,注销的方法是调用UnregisterGestureCallbacks ( XnCallbackHandle hCallback ) 。
【4】这个gestureRecog()便是RecognizedCB回调函数的真身了,它有五个参数:
generator指定发现手势的生成器。
strGesture告诉我们哪种手势已被识别。
pIDPosition和pEndPosition代表了该手势的起始位置和终止位置。对于RaiseHand的手势,两个值是一样的,但对于Click和Wave手势,由于手的位置是发生过变化的,值是不同的。
pCookie是传入的用户数据。
在【4】中,小斤针对不同的手势进行了绘图,此外,还显示了手的当前pIDPosition和pEndPosition。
【5】gestureProgress()回调函数与gestureRecog()类似,因为是在手势进行中被调用的,它只有一个position,表示当前手的位置,此外,还有一个fProgress表示当前的进度。
程序编译执行后,效果如下:
小斤这边测试结果是,RaiseHand最容易触发,基本上都在RecognizedCB中出现,而MovingHand没有被触发过。Click和
Wave手势在RecognizedCB和ProgressCB都可能触发,虽然Wave手势的轨迹不一定准确,但Wave轨迹的用处不大。
如果组合使用RaiseHand,Click和Wave,通过一些位置判定和调整,实现应用程序的部分控制是没有多大问题的,大家自由发挥想象吧,有好点子欢迎讨论!
----------------------------------
作者:小斤(陈忻)
本文属于原创文章,如需转载引用请注明原文作者和链接,谢谢。
分享到:
相关推荐
因为OpenNI可以获取到kinect的深度信息,而深度信息在手势识别中有很大用处,因此本文就来使用OpenNI自带的类来做简单的手势识别。识别的动作为4种,挥手,手移动,举手,往前推手。通过后面的实验可以发现,其实...
Unity结合Kinect2体感开发:KinectForWindows_UnityPro
kinect手势识别程序
Kinect+OpenNI学习笔记,系统的介绍了,如何在OpenNi下使用Kinect,对于基于Kinect的开发,很有帮助,能够帮助入门者学会如何使用Kinect,对于以后使用其他平台开发,也是大有裨益的。
运用OPENNI驱动,从而获取KINECT传感器深度数据,再利用KINECT已知手势算法 ,识别手势。
Kinect for Windows SDK开发入门(十一):手势识别 下:基本手势识别 上文简要介绍了手势识别的基本概念和手势识别的基本方法,并以八种手势中的
Kinect运用OpenNI产生点云 http://blog.csdn.net/opensource07/article/details/7804246
此 zip 文件包含用于 Microsoft Kinect、OpenNI 1.* 和 OpenNI 2.* 库的 c++ 包装函数。 此代码与 Matlab 32 位和 64 位、Windows、MacOs 和 Linux 兼容。 注意!OpenNI 2.* 仅支持深度/视频流。 要将代码编译为 ...
Kinect 手势识别是一个用 C++ 和 Javascript 编写的程序,用于波士顿大学的计算机视觉课程。 它使用 OpenNI 1.5.4、NiTE 中间件、OpenCV-2.4.1 和用于 3D 渲染的 Javascript (Three.js)。 使用 OpenNI Handtracking...
本文是整理中的Kinect for Windows v2 的C++ 程式开发教程。内容包括但不限于: • Kinect for Windows SDK v2 基本介绍 • Kinect for Windows SDK v2 C++ API 简介 • K4W v2 C++ Part 1:简单的深度读取方法 • ...
Kinect for Windows SDK开发入门十:手势识别 上:基本概念
基于Kinect的openNI开发包,直接安装可用,适合学习Kinect开发的的使用
读取并显示kinect彩色和深度信息的三种方式。 1.KinectSDK+MFC ...利用OpenNI读取信息的时候,要正确安装OpenNI和对应的Kinect驱动。 利用本资源提供的源代码,配置好OpenCv,OpenNI和KinectSDK即可运行。
从Kinect读取彩色图像,利用OpenCV实现0-9数字手势识别。
kinect 动态手势识别 静态手势识别
Kinect开发教程.pdf
基于 Kinect 的实时手势识别 天津大学电气自动化与信息工程学院,天津 300072
最新的基于kinect的手势识别源代码,可以存储自己的手势,然后进行识别。对于刚接触kinect的初学者将是一个好的学习代码
使用 OpenNI2 访问 Kinect ASUS Xtion 和其他 OpenNI 相机,并通过 ROS image_transport 发布 rgb 和深度流 这个包不能开箱即用,取决于成功安装 OpenNI2 从这里获取: : 如果要在 ARM 处理器上安装 OpenNI2,请...