옴니터치
차례:
컴퓨팅의 위대한 혁명 중 하나는 터치 스크린입니다. 그들은 특별한 포인터나 손가락으로 컴퓨터와 상호 작용하는 새로운 방법을 가져왔습니다. 2011년에 Microsoft는 더 나아가 모든 표면을 만질 수 있는 프로젝트인 OmniTouch를 도입했습니다. 기본 아이디어는 어깨에 카메라와 프로젝터 장치를 장착하여 화면을 투사하고 사용자의 키 입력을 읽는 것입니다. 가능성은 무궁무진하여 손, 벽, 시트 또는 기타 표면을 터치 스크린으로 바꿀 수 있습니다.
OmniTouch 작동 방식: 키 입력 인식
OmniTouch 프로젝트의 가장 중요한 부분은 사용자가 터치하는 위치를 알기 위해 손가락의 위치와 깊이를 추적하는 것입니다. 이를 위해 깊이 감지 PrimeSense 카메라가 프로토타입에 사용되었습니다. 색상을 측정하는 일반 카메라와 달리 PrimeSense는 카메라 렌즈에서 이미지의 각 지점까지의 거리를 측정합니다. 1mm 정확도와 20cm 최소 범위는 원래 프로젝트에 사용된 Kinect 카메라에 비해 주요 이점입니다.
손가락을 찾기 위해 OmniTouch는 먼저 깊이 맵(A)을 캡처합니다. 그런 다음 기울기 맵이 계산됩니다.>"
(B)에서 지도가 색상으로 변환된 것을 볼 수 있습니다. 빨간색은 X축 또는 Y축의 양의 방향(위쪽 또는 오른쪽)에 깊이가 적다는 것을 의미하고 파란색은 깊이가 있음을 의미합니다. X축 또는 Y축의 음의 방향(아래쪽 또는 왼쪽)의 깊이가 적습니다.보라색은 심도의 변화가 거의 없음을 의미합니다.
이 지도를 사용하여 소프트웨어는 수직 원통형 섹션, 즉 카메라에 접근한 다음 머문 다음 마지막으로 멀어지는 표면을 찾습니다. 한쪽에서 다른쪽으로 돌리면 손가락이었던 것은 와우. 컬러 맵에서 빨간색 섹션, 보라색 섹션, 파란색 섹션을 모두 같은 세로 축에서 찾습니다.
가능한 후보는 키로 필터링되어 손가락이 될 수 없는 모든 항목을 필터링합니다(예: 2mm 높이의 실린더는 손가락으로 인식할 수 없으므로 버립니다). 그림 (C)에서 식별된 모든 손가락 부분을 볼 수 있습니다.
이 작업이 완료되면 모든 수직 부분이 모여 손가락을 형성합니다(그림 D). 너무 짧을 수 있는 손가락은 버려지고, 사용자가 오른손잡이이므로 손가락의 가장 왼쪽 부분이 끝이라고 가정합니다.짜잔, 이제 사용자가 가리키는 곳을 알 수 있습니다.
이제 손가락이 표면에 닿고 있는지 어떻게 알 수 있습니까? 플러드 필이라고 하는데, 페인트의 물통에 물을 채우는 것과 같다고 하면 더 익숙할 것 같습니다.
기술은 간단합니다. 손가락의 중간 지점을 찾아 13밀리미터의 허용 오차로 위쪽, 왼쪽 및 오른쪽 픽셀을 채우기 시작합니다. 즉, 깊이와 손가락 중간점의 차이가 13밀리미터 미만인 경우에만 픽셀을 채웁니다.
이렇게 하면 손가락이 아무것도 닿지 않으면 손가락에 해당하는 픽셀만 채워집니다. 당신이 손을 만지고 있다면 더 많은 것이 채워질 것입니다. 이미지에서 손가락이 공중에 있거나(왼쪽) 손을 만지면(오른쪽) 어떤 일이 일어나는지 볼 수 있습니다. 채워진 픽셀의 특정 여백을 통과하면 소프트웨어는 해당 위치에서 탭 또는 클릭을 보냅니다.
OmniTouch 작동 방식: 이미지 투사
손가락 인식이 핵심 부분이지만 OmniTouch도 어떤 표면에든 이미지를 투사해야 한다는 점을 잊을 수 없습니다. 이를 위해 깊이 챔버도 사용됩니다. 이미지의 모든 표면은 이미지의 상호 연결된 지점을 매우 효율적으로 감지하는 연결된 구성 요소 알고리즘을 사용하여 감지됩니다.
손보다 작은 면을 버리고 이미지를 투사할 중심이나 기준점을 고정하는 작업을 진행합니다. 이 점은 표면의 방향을 감지하는 데 도움이 되므로 왜곡되지 않은 이미지를 생성할 수 있습니다.
다음으로 어려운 점은 표면의 크기를 감지하는 것입니다.표면의 가장자리를 충분히 인식할 수 없기 때문에 OmniTouch는 구성 요소 포인트의 평균 및 표준 편차를 사용하여 손, 팔, 노트북, 벽 및 테이블의 다섯 가지 포인트로 분류합니다. 그들 각각은 이미지의 특정 크기와 중심을 가지고 있습니다.
소프트웨어는 모든 데이터와 함께 투사할 이미지를 생성하고 표면에 올바르게 나타나도록 왜곡합니다. 그런 다음 이미지를 프로젝터로 전달하여 어떤 표면에든 이미지를 표시합니다.
무궁무진한 정밀기술
테스트에서 OmniTouch는 매우 정밀한 기술임이 입증되었습니다. 클릭 인식 정확도는 96.5%로 매우 좋은 수치이며 프로토타입임을 감안하면 더욱 그렇다.인터페이스의 크기는 직경 2cm의 버튼으로 95%의 키 입력을 인식합니다.
이 최대 크기는 손에 투영되는 인터페이스에 필요합니다. 테이블이나 벽과 같이 더 멀리 떨어진 다른 표면에서는 기존 터치 스크린의 버튼에 권장되는 크기와 거의 같은 크기인 15밀리미터로 줄일 수 있습니다.
"가능성은 무궁무진합니다. 프로토타입을 사용하여 그림을 그릴 수 있는 강의대가 만들어졌습니다. 벽에 그림을 그리고 왼손으로 색상을 선택했습니다. 형광펜으로도 사용>"
그러나 가장 흥미로운 점은 그들이 문서의 끝에서 언급한 것입니다. OmniTouch는 우리가 2차원 표면에 대한 고려를 중단하고 신체의 모양을 활용하여 방법을 변경할 때 열리는 가능성입니다. 우리는 컴퓨터와 상호 작용합니다.
"OmniTouch는 기술과 가능성 모두에서 진정으로 흥미로운 프로젝트입니다. Microsoft>에 따른 미래 특별편에서 그에 대해 곧 다시 이야기하겠습니다."
In Xataka Windows | Microsoft에 따른 미래 추가 정보 | 옴니터치
