盡管2022年北京冬奧會(huì)已經(jīng)結(jié)束，但是很多驚艷世界的創(chuàng)新技術(shù)，依然持續(xù)傳遞著“科技冬奧”的精神。“冰壺運(yùn)動(dòng)軌跡捕捉和再現(xiàn)”技術(shù)就是其中之一。
冰壺比賽是北京冬奧賽程最長(zhǎng)的項(xiàng)目，從開(kāi)幕前兩天的2022年2月2日開(kāi)賽，并持續(xù)至2月20日閉幕當(dāng)天，來(lái)自全世界不同國(guó)家和地區(qū)的三十支參賽隊(duì)進(jìn)行了混雙、男子團(tuán)體、女子團(tuán)體共147場(chǎng)比賽。作為一種策略游戲，冰壺有著“冰上象棋”的美譽(yù)。矗立在冰壺比賽現(xiàn)場(chǎng)的一座170㎡的巨幕大屏，則在每一場(chǎng)比賽中，都準(zhǔn)確無(wú)誤地描繪出冰壺的運(yùn)動(dòng)軌跡曲線，同時(shí)以垂直視角實(shí)時(shí)呈現(xiàn)大本營(yíng)的無(wú)形變畫(huà)面，幫助場(chǎng)上運(yùn)動(dòng)員分析研判對(duì)戰(zhàn)形勢(shì)、適時(shí)調(diào)整投壺技戰(zhàn)術(shù)。線上觀賽的觀眾，也能夠通過(guò)“咪咕視頻”APP選擇”咪咕&商湯AI技戰(zhàn)術(shù)分析”直播窗口一覽冰壺軌跡和賽事信息，更好地了解和感受冰壺運(yùn)動(dòng)的精髓。
“雖然只是捕捉一個(gè)小小冰壺的軌跡，但背后卻涉及諸多的技術(shù)挑戰(zhàn)。四年一屆的冬奧會(huì)機(jī)會(huì)難得，我們希望盡最大努力，將更高質(zhì)量的觀賽體驗(yàn)帶給觀眾。”負(fù)責(zé)此次項(xiàng)目的商湯科技算法技術(shù)負(fù)責(zé)人王權(quán)、產(chǎn)品負(fù)責(zé)人王磊與項(xiàng)目經(jīng)理鄭少林等人，歷時(shí)十個(gè)月的時(shí)間，克服了多種技術(shù)難題和突發(fā)性挑戰(zhàn)，基于商湯SenseMARS火星混合現(xiàn)實(shí)平臺(tái)，成功實(shí)現(xiàn)了這項(xiàng)技術(shù)在全世界的首次應(yīng)用。
歷時(shí)十個(gè)月 在巨大的“冰立方”中捕捉微小的冰壺
2020年10月，科技部完成“科技冬奧”重點(diǎn)專(zhuān)項(xiàng)2020年度指南項(xiàng)目立項(xiàng)批復(fù)。憑借在人工智能深度學(xué)習(xí)、虛實(shí)融合、AR智能化觀賽等領(lǐng)域的技術(shù)能力優(yōu)勢(shì)和豐富的實(shí)踐經(jīng)驗(yàn)，商湯科技有幸參與并負(fù)責(zé)了由國(guó)家游泳中心牽頭的“冰壺賽況的智能感知與虛實(shí)融合技術(shù)和平臺(tái)研究”課題項(xiàng)目，為科技冬奧貢獻(xiàn)自己的力量。
“冰立方”是冬奧會(huì)歷史上體量最大的冰壺場(chǎng)館，在兩年前“水冰轉(zhuǎn)換”過(guò)程中，其冰壺場(chǎng)地改造工程總面積約5萬(wàn)平方米。冰壺比賽的每條賽道長(zhǎng)40多米，在比賽過(guò)程中，每條賽道內(nèi)通常會(huì)有16個(gè)冰壺，并有2支隊(duì)伍8名運(yùn)動(dòng)員來(lái)回走動(dòng)。在一名隊(duì)員擲球時(shí)，兩名本方隊(duì)員會(huì)在冰壺滑行的前方左右兩側(cè)快速擦刷冰面。要在如此多人員頻繁移動(dòng)、多個(gè)目標(biāo)密集分布、互相遮擋的情況下，從超大的場(chǎng)館中準(zhǔn)確捕捉到直徑約30厘米的小冰壺，給硬件方案和算法的設(shè)計(jì)都提出了巨大難題。
針對(duì)這一挑戰(zhàn)，商湯團(tuán)隊(duì)進(jìn)行了重點(diǎn)攻堅(jiān)，經(jīng)過(guò)考察和反復(fù)研究，確定了通過(guò)在場(chǎng)館不同位置安裝42個(gè)高清攝像頭從不同角度捕捉賽道上運(yùn)動(dòng)冰壺的硬件方案，同時(shí)原創(chuàng)開(kāi)發(fā)了“多視角實(shí)時(shí)動(dòng)態(tài)捕捉技術(shù)”“多相機(jī)感知融合技術(shù)”“多目標(biāo)定位追蹤技術(shù)”，對(duì)不同攝像頭拍攝的圖像進(jìn)行智能合成，計(jì)算出冰壺的運(yùn)動(dòng)參數(shù)。最終，商湯團(tuán)隊(duì)成功實(shí)現(xiàn)了超大空間范圍內(nèi)，遠(yuǎn)距離精準(zhǔn)檢測(cè)識(shí)別定位跟蹤可能被遮擋的運(yùn)動(dòng)冰壺。“從對(duì)冰壺運(yùn)動(dòng)的實(shí)時(shí)捕捉，到對(duì)冰壺坐標(biāo)參數(shù)的快速計(jì)算，再到運(yùn)行軌跡的合成和渲染，我們通過(guò)軟硬件的緊密協(xié)同，實(shí)現(xiàn)了全流程的自動(dòng)化處理，整個(gè)流程只需不到1秒，并且將位置精確度保證在了10厘米以內(nèi)”，鄭少林表示。
賽事期間的任務(wù)同樣艱巨。每天早中晚的三個(gè)時(shí)段，四個(gè)賽道會(huì)分別舉辦一場(chǎng)冰壺比賽，相當(dāng)于一天就有12場(chǎng)比賽。為了保證“冰壺運(yùn)動(dòng)軌跡捕捉和再現(xiàn)”技術(shù)在每場(chǎng)比賽的順利運(yùn)行，商湯專(zhuān)門(mén)在閉環(huán)內(nèi)外設(shè)立了9人的保障團(tuán)隊(duì)。閉環(huán)外安排了2名固定工作人員，4名輪換工作人員，閉環(huán)外人員需要在每場(chǎng)比賽開(kāi)始的半個(gè)小時(shí)之前，確保冰壺運(yùn)動(dòng)軌跡捕捉系統(tǒng)和可視化分析平臺(tái)以及近20臺(tái)服務(wù)器的正常啟用，從早上8點(diǎn)半左右一直工作到晚上10點(diǎn)半左右。
閉環(huán)內(nèi)的3名工作人員則負(fù)責(zé)比賽期間可視化平臺(tái)的賽事創(chuàng)建、賽程、隊(duì)員和軌跡管理工作，智慧觀賽系統(tǒng)和線上AI直播系統(tǒng)的服務(wù)啟停、監(jiān)測(cè)、功能優(yōu)化和故障修復(fù)等工作。由于冰壺混雙、女子團(tuán)體、男子團(tuán)體等不同比賽的規(guī)則不盡相同，而每局比賽中還經(jīng)常會(huì)出現(xiàn)投壺隊(duì)員順序臨時(shí)變更，裁判判罰投壺?zé)o效需要重新投壺等情況，這些因素都會(huì)對(duì)投壺情況的后臺(tái)統(tǒng)計(jì)分析和前端呈現(xiàn)產(chǎn)生影響。因此需要3名工作人員時(shí)刻緊盯比賽進(jìn)程，對(duì)賽況進(jìn)行分析和判斷，實(shí)時(shí)切換比賽的開(kāi)始/結(jié)束狀態(tài)，監(jiān)測(cè)智能大屏系統(tǒng)和線上AI直播系統(tǒng)的穩(wěn)定性，同時(shí)根據(jù)賽場(chǎng)運(yùn)動(dòng)員的賽前介紹和投壺順序更新運(yùn)動(dòng)員、冰壺序號(hào)等信息，確保準(zhǔn)確無(wú)誤地記錄和統(tǒng)計(jì)每場(chǎng)比賽的投壺情況。
從精準(zhǔn)的軌跡捕捉，到完善的運(yùn)維保障，看似一切工作準(zhǔn)備就緒，然而還是遇到了一些“小插曲”。就在北京冬奧會(huì)冰壺比賽正式開(kāi)賽的前一天，團(tuán)隊(duì)進(jìn)場(chǎng)做最后的設(shè)備檢查和測(cè)試工作時(shí)，突然發(fā)現(xiàn)用于固定拍攝大本營(yíng)畫(huà)面攝像頭的桁架，會(huì)受到國(guó)外媒體攝像機(jī)轉(zhuǎn)動(dòng)的影響而產(chǎn)生晃動(dòng)，這會(huì)造成現(xiàn)場(chǎng)大屏上大本營(yíng)畫(huà)面的輕微晃動(dòng)。雖然幅度很小，次數(shù)也不多，但是為了呈現(xiàn)最佳的顯示效果，商湯團(tuán)隊(duì)在和國(guó)家游泳中心基礎(chǔ)設(shè)施保障團(tuán)隊(duì)快速溝通后毅然決定調(diào)整方案。在國(guó)家游泳中心的大力支持下，加急采購(gòu)新的桁架，并調(diào)度閉環(huán)內(nèi)外各個(gè)資源方的工作人員，從夜里零點(diǎn)開(kāi)始，用了不到五個(gè)小時(shí)的時(shí)間，完成了桁架的運(yùn)輸安裝、攝像頭的拆卸和二次安裝等工作。不僅如此，團(tuán)隊(duì)還通過(guò)在軟件層面增加攝像頭拍攝位置和角度可調(diào)整的功能，不斷調(diào)教大本營(yíng)畫(huà)面，以確保大本營(yíng)整體畫(huà)面位置的準(zhǔn)確呈現(xiàn)。最終，在正式比賽開(kāi)賽前，問(wèn)題順利得到解決，確保了大屏畫(huà)面全程穩(wěn)定的輸出。
整個(gè)賽事期間，商湯團(tuán)隊(duì)不僅要確保冰壺運(yùn)動(dòng)軌跡在現(xiàn)場(chǎng)大屏畫(huà)面中的準(zhǔn)確顯示，還要保證在“咪咕視頻”APP中的精準(zhǔn)呈現(xiàn)。在比賽首日，聚集在大本營(yíng)周邊的人員越來(lái)越多，導(dǎo)致部分軌跡在手機(jī)屏幕上觀看會(huì)有明顯的抖動(dòng)現(xiàn)象。團(tuán)隊(duì)隨即第一時(shí)間進(jìn)行了算法迭代，通過(guò)對(duì)軌跡進(jìn)行平滑處理等優(yōu)化工作，最終實(shí)現(xiàn)了非常完美的效果。“我們所做的不僅僅只是現(xiàn)場(chǎng)的保障工作，而是在不斷發(fā)現(xiàn)問(wèn)題、解決問(wèn)題，依靠我們豐富的算法經(jīng)驗(yàn)，進(jìn)行持續(xù)的迭代和優(yōu)化，目的就是盡可能打造更好的賽事直播和觀看體驗(yàn)”，王權(quán)表示。
暢想“科技冬奧”愿景 讓技術(shù)推動(dòng)人類(lèi)進(jìn)步
智慧觀賽技術(shù)與巨幕大屏相結(jié)合，起到了非常好的輔助觀賽、科技助力效果，獲得了現(xiàn)場(chǎng)觀眾、媒體、運(yùn)動(dòng)員、教練和技術(shù)官員的認(rèn)可。在整個(gè)比賽過(guò)程中，運(yùn)動(dòng)員在比賽中“回頭看大屏”的現(xiàn)象已成常態(tài)。事實(shí)上，早在去年10月，“冰壺運(yùn)動(dòng)軌跡捕捉技術(shù)”已經(jīng)在輪椅冰壺世錦賽上提前亮相并應(yīng)用，當(dāng)時(shí)還得到了世界冰壺聯(lián)合會(huì)主席凱特·凱斯尼斯等多方好評(píng)。在即將到來(lái)的北京冬殘奧會(huì)冰壺輪椅比賽期間，這項(xiàng)技術(shù)將繼續(xù)應(yīng)用。
咪咕解說(shuō)嘉賓也對(duì)這項(xiàng)技術(shù)的應(yīng)用予以了高度評(píng)價(jià)：看比賽，光看得清還不夠，還要看得懂。對(duì)于許多人來(lái)說(shuō)，有不少冰雪項(xiàng)目規(guī)則復(fù)雜，往往會(huì)看得一頭霧水。直播觀賽時(shí)如果有專(zhuān)業(yè)分析，那可真是“雪中送炭”。以直播和分析解說(shuō)的形式，直觀地呈現(xiàn)比賽過(guò)程中冰壺的運(yùn)動(dòng)軌跡曲線，讓不少資深體育迷直呼過(guò)癮，也獲得冰雪“小白”的大力點(diǎn)贊。
對(duì)運(yùn)動(dòng)員和教練來(lái)說(shuō)，“冰壺運(yùn)動(dòng)軌跡捕捉”這項(xiàng)技術(shù)可以運(yùn)用到他們的日常訓(xùn)練中，幫助他們提高訓(xùn)練和比賽的水平。而對(duì)于普羅大眾來(lái)說(shuō)，這項(xiàng)跨越虛實(shí)的技術(shù)，可以讓觀眾更全面地了解冰壺運(yùn)動(dòng)的精髓。雖然冰壺起源于16世紀(jì)的蘇格蘭，但中國(guó)直到2000年才成立了第一支冰壺隊(duì)，這使得很多大眾對(duì)冰壺比較陌生，也很少接觸這項(xiàng)運(yùn)動(dòng)。在商湯團(tuán)隊(duì)與國(guó)家游泳中心共同規(guī)劃這項(xiàng)課題時(shí)，便一致希望通過(guò)創(chuàng)新技術(shù)的應(yīng)用，激發(fā)更多人對(duì)冰壺運(yùn)動(dòng)的興趣，甚至由此助力冰壺運(yùn)動(dòng)在中國(guó)的發(fā)展和進(jìn)步。
除了“冰壺運(yùn)動(dòng)軌跡捕捉”技術(shù)外，商湯團(tuán)隊(duì)還在科技部科技冬奧專(zhuān)項(xiàng)支持下，負(fù)責(zé)了“基于3D的實(shí)時(shí)精準(zhǔn)定位技術(shù)、虛擬與現(xiàn)實(shí)結(jié)合的3D高精度識(shí)別的智慧AR導(dǎo)航系統(tǒng)研究”課題，憑借原創(chuàng)的SenseMARS火星混合現(xiàn)實(shí)平臺(tái)的強(qiáng)大能力，商湯創(chuàng)新地通過(guò)GPS與視覺(jué)融合的數(shù)據(jù)關(guān)聯(lián)方法和參數(shù)分塊優(yōu)化方法在短時(shí)間內(nèi)，將超現(xiàn)實(shí)的體驗(yàn)帶向了張家口冬奧村。經(jīng)過(guò)幾個(gè)月的研發(fā)攻關(guān)，商湯實(shí)現(xiàn)了大尺度場(chǎng)景下厘米級(jí)的3D空間構(gòu)建和部署，并解決了動(dòng)態(tài)復(fù)雜場(chǎng)景下實(shí)現(xiàn)精準(zhǔn)定位跟蹤等難題。
在項(xiàng)目過(guò)程中，團(tuán)隊(duì)還克服了很多其他AR導(dǎo)航場(chǎng)景很少遇到的難題，包括冬奧村內(nèi)建筑群風(fēng)格比較統(tǒng)一導(dǎo)致存在大面積相似紋理，冰雪覆蓋造成場(chǎng)景視覺(jué)變化多等挑戰(zhàn)。在測(cè)試過(guò)程中，商湯團(tuán)隊(duì)還發(fā)現(xiàn)整個(gè)冬奧村是一個(gè)斜面，存在數(shù)米的落差，最終通過(guò)重新建模，將導(dǎo)航地圖動(dòng)態(tài)的規(guī)劃在一個(gè)水平面上予以解決，讓AR導(dǎo)航箭頭在不同坡度的地面上都可以準(zhǔn)確與地面貼合，實(shí)現(xiàn)了實(shí)時(shí)、精準(zhǔn)的6自由度空間定位。最終，商湯團(tuán)隊(duì)實(shí)現(xiàn)了在張家口冬奧村近30萬(wàn)平方米區(qū)域內(nèi)的任意地點(diǎn)，都能保證精準(zhǔn)定位。該應(yīng)用無(wú)需獨(dú)立APP，僅借助web瀏覽器即可輕松體驗(yàn)。
無(wú)論是“冰壺運(yùn)動(dòng)軌跡捕捉”，還是冬奧村AR導(dǎo)航，都成功助力了“科技冬奧”從愿景走進(jìn)現(xiàn)實(shí)，同時(shí)也為這些技術(shù)在更多領(lǐng)域的規(guī)模化應(yīng)用，起到了推動(dòng)作用。比如，冰壺捕捉背后的“在大空間內(nèi)捕捉小物體”的感知技術(shù)，還可以用于城市、工業(yè)等場(chǎng)景，輔助車(chē)輛和設(shè)備的智慧管理。科技冬奧的理念不僅僅是展現(xiàn)技術(shù)的創(chuàng)新成果，商湯更希望借此機(jī)遇，增進(jìn)大眾對(duì)創(chuàng)新科技的認(rèn)知，更好地推動(dòng)AI技術(shù)的創(chuàng)新和應(yīng)用，最終惠及到城市管理、產(chǎn)業(yè)發(fā)展和個(gè)人生活當(dāng)中，普惠大眾，改變生活。
青島財(cái)經(jīng)日?qǐng)?bào)/首頁(yè)新聞?dòng)浾?宋佳
請(qǐng)輸入驗(yàn)證碼