หุ่นยนต์อยากเข้าใจภาษามือมนุษย์

หุ่นยนต์อยากเข้าใจภาษามือมนุษย์

ภาษามือเป็นภาษาที่ใช้ท่าทางของร่างกายของมนุษย์ในการสื่อสาร ซึ่งรวมถึงการใช้มือในการทำท่าทาง การพยักหน้า การขยับริมฝีปาก หรือการแสดงออกทางสีหน้า ในปัจจุบันคนพิการทางหูและ/หรือพิการทางเสียง สามารถสื่อสารกันได้โดยใช้ภาษามือ และบุคคลที่สื่อสารภาษามือด้วยกันนั้นจำเป็นต้องรู้ภาษามือเช่นกัน ดังนั้น ปัญหาที่เกิดตามมาก็คือคนที่ไม่มีความรู้ด้านภาษามือจะทำการสื่อสารกับคนพิการทางหูและ/หรือพิการทางเสียงได้ลำบาก ดังนั้นทางสำนักงานคณะกรรมการวิจัยแห่งชาติ จึงสนับสนุนให้สถาบันวิทยาการหุ่นยนต์ภาคสนาม (ฟีโบ้)ทำวิจัยระบบการจดจำภาษามือ ที่เป็นภาษามือของประเทศไทยขึ้น โดยใช้หลักในการจดจำชุดท่าทางของภาษามือในเฉพาะส่วนของการใช้มือในการสื่อสาร การทำงานของระบบการจดจำภาษามือไทยที่นำเสนอนี้มีขั้นตอนการทำงานดังรูปแผนภูมิข้างล่าง ผู้ใช้ต้องทำการสวมถุงมือป้อนข้อมูล (CyberGloves) ซึ่งมีเซนเซอร์ตรวจจับการงอของนิ้วแต่ละข้อ เพื่อทำการรับข้อมูลการงอของนิ้วแต่ละนิ้ว และติดอุปกรณ์ตรวจจับตำแหน่งของมือ (Motion Tracker) ที่มือทั้งสองข้างเพื่อใช้ในการหาตำแหน่งของมือ ( x, y , z)และการหมุนของข้อมือ (Roll, Pitch, Yaw) เทียบกับตำแหน่งอ้างอิงของผู้ใช้ จากนั้นข้อมูลนี้จะถูกนำไปผ่านขั้นตอนประมวลผลเบื้องต้น (Preprocessing) เพื่อทำการแบ่งข้อมูลออกเป็นชุด คือ รูปแบบของมือ ตำแหน่งของมือ การหมุนของมือ และการเคลื่อนที่ของมือ เพื่อทำการหาจุดเริ่มต้นและจุดสิ้นสุดของภาษามือท่านั้น เพื่อให้ระบบสามารถแบ่งแยกภาษามือที่เป็นท่านิ่งและท่าเคลื่อนไหวได้และทำให้ระบบสามารถแบ่งแยกคำในการทำภาษามือแต่ละคำที่ผู้สื่อสารทำต่อเนื่องกันได้ ผู้วิจัยได้ทำการเพิ่มประสิทธิภาพในการจดจำภาษามือ โดยทำการแบ่งแยกมือในการทำภาษามือ โดยพิจารณาว่ามีลักษณะการทำภาษามือเป็นแบบใช้มือเดียว หรือใช้ทั้งสองมือโดยใช้มือใดมือหนึ่งเป็นหลัก หรือใช้ทั้งสองมือท่าทำเหมือนกัน จากนั้นนำข้อมูลผ่านเข้ากระบวนการควอนไทซ์เวกเตอร์ เพื่อลดจำนวนข้อมูลที่เป็นอินพุตให้กับขั้นตอนการสอนและจดจำของฮิดเดนมาร์คอฟโมเดล เพื่อทำให้

ระบบประมวลผลได้เร็วมากขึ้น กระบวนการจดจำภาษามือ ผู้วิจัยได้นำหลักของฮิดเดนมาร์คอฟโมเดลมาประยุกต์ใช้งานโดยนำข้อมูลจากขั้นตอนควอนไทซ์เวกเตอร์มาทำการสอนให้ระบบทำการจดจำข้อมูลของภาษามือชุดนั้น และหลังจากทำการสอนให้ระบบจดจำภาษามือเสร็จสมบูรณ์แล้ว เมื่อนำระบบไปใช้งาน โดยผู้ใช้ทำภาษามือในลักษณะเดียวกันกับแบบที่ทำการสอนให้ระบบ ระบบจดจำภาษามมือจะสามารถบอกได้ว่าผู้ใช้ทำภาษามือคำใด โดยทำการหาภาษามือที่เหมาะสมที่สุดกับข้อมูลที่รับเข้ามาในขณะเวลาดังกล่าว นอกจากนี้ ระบบสามารถที่จะทำการเรียงคำในการทำภาษามือออกมาเป็นประโยคที่ถูกต้องตามหลักไวยากรณ์และความหมาย โดยใช้หลักการทางการประมวลผลภาษาธรรมชาติ (Natural Language Processing) เพื่อที่จะนำไปใช้ในการสื่อสารได้จริง โดยระบบจะทำการแสดงข้อความของภาษามือที่ผู้ใช้สื่อสารทางจอภาพ พร้อมทั้งพูดเป็นเสียงตามประโยคดังกล่าว ทำให้ผู้ไม่รู้ภาษามือสามารถสื่อสารกับผู้ใช้ภาษามือได้อย่างสะดวกมากขึ้น และในทางกลับกันช่วยให้ผู้พิการมีความมั่นใจในการสื่อสารต่อบุคคลทั่วไปรวมทั้งหุ่นยนต์ได้สะดวกมากขึ้นเช่นกัน