在希區柯克的經典懸疑電影希區考克中，男主因腿部受傷坐臥修養，期間只能用望遠鏡觀察鄰居的生活打發無聊時間，由此捲入一場兇殺案。

電影中男主的“觀看”被作為重要元素被反復強調，“觀看”的內容則是被窗戶框選出來的部分生活。

有沒有一種透視法，能夠看穿牆壁等遮擋物，再現遮擋物後的人物動作呢，就像…“火眼金睛”？

當然這可不是用來窺視別人生活的，透視法的開發可以帶來很好的社會效益，比如，自動駕駛汽車可以更好地“看到”拐角處，養老中心可以提高居住的安全性，搜救隊可以提高在危險或障礙區域的導航能力……

這一切需要交給電腦視覺（computer vision）模型來處理，現在的CV模型已經能完成一些看似不可能的任務了，比如幫助撲滅加利福尼亞的野火、瞭解複雜而險惡的道路，甚至可以用影子看到拐角處。

七年前，MIT研究人員就開發了一個成像系統，該系統能以地板、門和牆壁為“鏡子”，“看到”人眼視線之外的場景資訊。

系統利用了一種叫做飛秒鐳射（femtosecond laser）的裝置，這種裝置能發出非常短的光脈衝，持續時間以百萬分之一秒為單位。工作時，系統向對面的牆壁發射鐳射，光線從牆上反射到室內，然後反彈重新出現，最終擊中一個探測器。該裝置可以每隔幾皮秒，或萬億分之一秒進行測量，由此形成一個完整的物體資訊。

可以說，這項工作為未來的電腦視覺發展開闢了無限的可能。

最近，MIT電腦科學與人工智慧實驗室（CSAIL）的科學家重啟了這項工作。與之前不同的是，他們利用的是一種新方法，即通過細微的陰影和反射重現被遮擋的動作。也就是說，打開攝影機之後，即使是攝影機視野之外的物體或動作，也可以進行再現。

MIT的研究員們基於視域外的視頻投射在附近物體上的陰影，預測出視域外的內容。上面一行顯示的是研究員使用這種方法重現的視覺元素，下面一行則是原始物體。

通過觀察陰影和幾何圖形之間的相互作用，新的演算法可以預測光在場景中的傳播方式，即“光傳輸”。然後，再利用這種傳播方式從觀察到的陰影中估計被隱藏的內容，甚至可以構建真人表演的大致輪廓。

雜物如何成為“觀看”的鏡子

該技術是“被動的”，這意味著對場景沒有鐳射或其他干預，整個過程需要大約兩個小時的處理時間。研究人員表示，該技術最終有助於重現視線之外的場景，包括但不限於上述應用。

“通過使用非視距成像設備（例如雷射器）可以完成許多工，但是在我們的方法中，只能使用自然到達相機的光線，並嘗試充分利用這些稀缺的資訊，”前CSAIL博士後和NVIDIA現任研究科學家，新技術的首席研究員Miika Aittala表示， “鑒於神經網路的最新進展，這似乎是一個很好的時機，可以解決在這個領域以前被認為是無法解決的一些挑戰。”

為了捕獲這些看不見的資訊，團隊使用了細微的間接照明提示，例如被觀察區域雜亂的陰影和高光。在某種程度上，一堆雜物的行為有點像針孔攝影機，類似於在小學科學課中可能會製作的東西：它阻擋了一些光線，但允許其他光線通過，並且無論在何處，它們都描繪出周圍環境的圖像。

但如果針孔相機被設計為僅允許通過足以形成可讀圖像的光線，那麼一堆雜亂的雜物會產生無法識別的圖像、（通過光傳輸）被擾亂的陰影的複雜運動。

可以將雜物想像成一面鏡子，使我們可以看到周圍的環境，尤其是在無法直接看到的角落。這個演算法所解決的挑戰是要弄清並理解這些照明的提示。

具體而言，目標是通過光傳輸和隱藏視頻，將隱藏場景中活動恢復為人類可觀看的內容。但是，解密卻被證明是一個經典的“先有雞還是先有蛋”的問題。為了理解加擾模式，使用者將需要知道隱藏的視頻，反之，為了知道隱藏的視頻，使用者將需要理解加擾模式。

“從數學上來說，就像我告訴你我正在考慮兩個秘密數位，它們的乘積是80。你能猜出它們是什麼嗎？也許40和2？還是371.8和0.2152？對於我們的問題，我們在每個圖元上都面臨類似的情況，”Aittala說，“幾乎所有隱藏的視頻都可以通過相應的加擾來解釋，反之亦然。如果我們讓電腦進行選擇，它只會為我們提供一大堆看起來什麼都不像的隨機圖像。”

考慮到這一點，團隊致力於通過演算法上指定一種與現實中的陰影相對應的“加擾”模式來消除歧義，以重現隱藏的視頻，看起來它具有邊緣，以及移動時具備一致的物件。

新的演算法有助於消除歧義

該團隊還利用了一個令人驚訝的事實，即使從未受過訓練的神經網路自然也喜歡表達“類似圖像”的內容，這有助於消除歧義。

演算法使用了機器學習中“深層圖像優先順序”的概念，同時訓練兩個神經網路，這兩個神經網路僅專用於一個目標視頻。一個網路產生加擾模式，另一個網路估計隱藏的視頻。當這兩個因素再現了從混亂中錄製的視頻時，網路就會得到“獎勵”，驅使它們用合理的隱藏資料來解釋觀察結果。

為了測試該系統，團隊首先將物體堆放在一堵牆上，然後放映視頻或在對面的牆上移動自己的物理位置。由此，他們可以重現視頻，使您可以大致瞭解房間隱藏區域中正在發生的運動。

將來，該小組希望提高系統的整體解析度，並最終在不受控制的環境中測試該技術。

圖、文轉載自大數據文摘

MIT 演算法透視人工智慧

延伸閱讀News

更多活動

AI簡史

延伸閱讀News

導入人工智慧英國期待利用AI防止賭博沉迷

7家智慧農業新創公司定義農業的未來

開車還要玩手機？AI 要把這些危險的駕駛員都揪出來罰分、罰款

AI智慧是帶領我們更進步？還是懶惰？

成為萬中選一的那人！利用深度學習，輕鬆閱讀古草體文字

英超強權切爾西與AI的完美邂逅

天才莫札特的傳說很狂？現在只要一鍵就做得到！

Google Home與Nest整合全力打入智慧居家市場

從夏日大作戰中看未來AI

AI簡史

延伸閱讀News

導入人工智慧 英國期待利用AI防止賭博沉迷

7家智慧農業新創公司 定義農業的未來

開車還要玩手機？AI 要把這些危險的駕駛員都揪出來罰分、罰款

AI智慧是帶領我們更進步？還是懶惰？

成為萬中選一的那人！利用深度學習，輕鬆閱讀古草體文字

英超強權切爾西 與AI的完美邂逅

天才莫札特的傳說很狂？現在只要一鍵就做得到！

Google Home與Nest整合 全力打入智慧居家市場

從夏日大作戰中看未來AI

導入人工智慧英國期待利用AI防止賭博沉迷

7家智慧農業新創公司定義農業的未來

英超強權切爾西與AI的完美邂逅

Google Home與Nest整合全力打入智慧居家市場