Motion capture (mocap) thường đòi hỏi hệ thống camera chuyên dụng, các marker gắn trên cơ thể và một không gian được thiết kế riêng. Tuy nhiên, các nhà nghiên cứu tại Max Planck Institute for Intelligent Systems và Carnegie Mellon University vừa trình diễn một cách tiếp cận đơn giản hơn đáng kể: ghi lại chuyển động toàn thân chỉ với 4 chiếc iPhone.
Hệ thống mang tên MAMMA có thể tái dựng chuyển động của con người từ nhiều góc quay mà không yêu cầu người biểu diễn đeo marker. Đáng chú ý, công nghệ này còn xử lý được những tương tác gần giữa hai người, kể cả khi cơ thể của một người bị người còn lại che khuất một phần.
Markerless Accurate Multi-person Motion Acquisition (MAMMA) là hệ thống tiếp nhận video từ nhiều camera, ước tính các điểm đánh dấu ảo (virtual markers) trên cơ thể ở tất cả góc quay, sau đó khớp mô hình cơ thể người SMPL-X với những điểm này để tái dựng chuyển động. Nguồn: MPI-IS.
MAMMA biến video từ iPhone thành chuyển động 3D như thế nào?
MAMMA phân tích video từ nhiều góc và theo dõi 512 điểm mốc trên cơ thể mỗi người. Lượng dữ liệu này cho phép hệ thống ước tính tư thế và hình dáng cơ thể ngay cả khi người biểu diễn quay lưng về phía camera hoặc bị che khuất.
Hệ thống còn xác định những vị trí hai người tiếp xúc với nhau và điểm cơ thể chạm sàn. Các thông tin này đặc biệt hữu ích với những chuyển động phức tạp như ôm hoặc khiêu vũ, nơi tay chân thường xuyên chồng lên nhau và gây khó khăn cho các hệ thống markerless motion capture.
Từ dữ liệu thu được, MAMMA xây dựng mô hình cơ thể 3D chỉ bằng video RGB thông thường, không cần gắn thiết bị theo dõi vật lý lên người biểu diễn.
Độ chính xác có thể tiệm cận hệ thống motion capture chuyên nghiệp
Nhóm nghiên cứu cũng đánh giá MAMMA với Vicon, một hệ thống motion capture chuyên nghiệp sử dụng marker. Trong thử nghiệm này, chênh lệch về sai số tái dựng giữa hai hệ thống ở mức dưới 1mm.
Tuy nhiên, con số này không đồng nghĩa hệ thống sử dụng 4 iPhone có độ chính xác dưới 1mm. Thử nghiệm với Vicon và màn trình diễn sử dụng bốn iPhone được thực hiện riêng biệt. Nhóm nghiên cứu đã chứng minh MAMMA có thể hoạt động với 4 chiếc iPhone trong cả môi trường trong nhà lẫn ngoài trời.
Kết quả cho thấy một hệ thống markerless mocap có thể đạt độ chính xác cao, đồng thời hoạt động với lượng phần cứng camera ít hơn đáng kể so với một studio motion capture truyền thống.
Từ studio chuyên dụng đến 4 chiếc smartphone
Hiện MAMMA vẫn là phần mềm nghiên cứu, chưa phải một sản phẩm thương mại hoàn chỉnh. Mã nguồn đã được công khai nhưng phiên bản hiện tại chỉ dành cho nghiên cứu khoa học phi thương mại, vì vậy các studio phim hay nhà phát triển game chưa thể đơn giản đưa hệ thống vào quy trình sản xuất thương mại.
Dù vậy, màn trình diễn với chỉ 4 chiếc iPhone cho thấy tiềm năng đáng chú ý: trong tương lai, các đội ngũ sáng tạo nhỏ có thể ghi lại chuyển động 3D mà không cần đầu tư một mocap stage chuyên dụng với hệ thống camera và marker phức tạp.
Thách thức tiếp theo không còn đơn thuần là chứng minh camera smartphone có thể capture chuyển động, mà là biến công nghệ này thành một công cụ đủ ổn định, dễ sử dụng và phù hợp về bản quyền để các nhà làm phim, game và nội dung 3D có thể đưa vào workflow thực tế.
Nguồn: MPI-IS