在希區柯克的經典懸疑電影希區考克中，男主因腿部受傷坐臥修養，期間只能用望遠鏡觀察鄰居的生活打發無聊時間，由此捲入一場兇殺案。

電影中男主的“觀看”被作為重要元素被反復強調，“觀看”的內容則是被窗戶框選出來的部分生活。

有沒有一種透視法，能夠看穿牆壁等遮擋物，再現遮擋物後的人物動作呢，就像…“火眼金睛”？

當然這可不是用來窺視別人生活的，透視法的開發可以帶來很好的社會效益，比如，自動駕駛汽車可以更好地“看到”拐角處，養老中心可以提高居住的安全性，搜救隊可以提高在危險或障礙區域的導航能力……

這一切需要交給電腦視覺（computer vision）模型來處理，現在的CV模型已經能完成一些看似不可能的任務了，比如幫助撲滅加利福尼亞的野火、瞭解複雜而險惡的道路，甚至可以用影子看到拐角處。

七年前，MIT研究人員就開發了一個成像系統，該系統能以地板、門和牆壁為“鏡子”，“看到”人眼視線之外的場景資訊。

系統利用了一種叫做飛秒鐳射（femtosecond laser）的裝置，這種裝置能發出非常短的光脈衝，持續時間以百萬分之一秒為單位。工作時，系統向對面的牆壁發射鐳射，光線從牆上反射到室內，然後反彈重新出現，最終擊中一個探測器。該裝置可以每隔幾皮秒，或萬億分之一秒進行測量，由此形成一個完整的物體資訊。

可以說，這項工作為未來的電腦視覺發展開闢了無限的可能。

最近，MIT電腦科學與人工智慧實驗室（CSAIL）的科學家重啟了這項工作。與之前不同的是，他們利用的是一種新方法，即通過細微的陰影和反射重現被遮擋的動作。也就是說，打開攝影機之後，即使是攝影機視野之外的物體或動作，也可以進行再現。

MIT的研究員們基於視域外的視頻投射在附近物體上的陰影，預測出視域外的內容。上面一行顯示的是研究員使用這種方法重現的視覺元素，下面一行則是原始物體。

通過觀察陰影和幾何圖形之間的相互作用，新的演算法可以預測光在場景中的傳播方式，即“光傳輸”。然後，再利用這種傳播方式從觀察到的陰影中估計被隱藏的內容，甚至可以構建真人表演的大致輪廓。

雜物如何成為“觀看”的鏡子

該技術是“被動的”，這意味著對場景沒有鐳射或其他干預，整個過程需要大約兩個小時的處理時間。研究人員表示，該技術最終有助於重現視線之外的場景，包括但不限於上述應用。

“通過使用非視距成像設備（例如雷射器）可以完成許多工，但是在我們的方法中，只能使用自然到達相機的光線，並嘗試充分利用這些稀缺的資訊，”前CSAIL博士後和NVIDIA現任研究科學家，新技術的首席研究員Miika Aittala表示， “鑒於神經網路的最新進展，這似乎是一個很好的時機，可以解決在這個領域以前被認為是無法解決的一些挑戰。”

為了捕獲這些看不見的資訊，團隊使用了細微的間接照明提示，例如被觀察區域雜亂的陰影和高光。在某種程度上，一堆雜物的行為有點像針孔攝影機，類似於在小學科學課中可能會製作的東西：它阻擋了一些光線，但允許其他光線通過，並且無論在何處，它們都描繪出周圍環境的圖像。

但如果針孔相機被設計為僅允許通過足以形成可讀圖像的光線，那麼一堆雜亂的雜物會產生無法識別的圖像、（通過光傳輸）被擾亂的陰影的複雜運動。

可以將雜物想像成一面鏡子，使我們可以看到周圍的環境，尤其是在無法直接看到的角落。這個演算法所解決的挑戰是要弄清並理解這些照明的提示。

具體而言，目標是通過光傳輸和隱藏視頻，將隱藏場景中活動恢復為人類可觀看的內容。但是，解密卻被證明是一個經典的“先有雞還是先有蛋”的問題。為了理解加擾模式，使用者將需要知道隱藏的視頻，反之，為了知道隱藏的視頻，使用者將需要理解加擾模式。

“從數學上來說，就像我告訴你我正在考慮兩個秘密數位，它們的乘積是80。你能猜出它們是什麼嗎？也許40和2？還是371.8和0.2152？對於我們的問題，我們在每個圖元上都面臨類似的情況，”Aittala說，“幾乎所有隱藏的視頻都可以通過相應的加擾來解釋，反之亦然。如果我們讓電腦進行選擇，它只會為我們提供一大堆看起來什麼都不像的隨機圖像。”

考慮到這一點，團隊致力於通過演算法上指定一種與現實中的陰影相對應的“加擾”模式來消除歧義，以重現隱藏的視頻，看起來它具有邊緣，以及移動時具備一致的物件。

新的演算法有助於消除歧義

該團隊還利用了一個令人驚訝的事實，即使從未受過訓練的神經網路自然也喜歡表達“類似圖像”的內容，這有助於消除歧義。

演算法使用了機器學習中“深層圖像優先順序”的概念，同時訓練兩個神經網路，這兩個神經網路僅專用於一個目標視頻。一個網路產生加擾模式，另一個網路估計隱藏的視頻。當這兩個因素再現了從混亂中錄製的視頻時，網路就會得到“獎勵”，驅使它們用合理的隱藏資料來解釋觀察結果。

為了測試該系統，團隊首先將物體堆放在一堵牆上，然後放映視頻或在對面的牆上移動自己的物理位置。由此，他們可以重現視頻，使您可以大致瞭解房間隱藏區域中正在發生的運動。

將來，該小組希望提高系統的整體解析度，並最終在不受控制的環境中測試該技術。

圖、文轉載自大數據文摘

MIT 演算法透視人工智慧

延伸閱讀News

更多活動

AI簡史

延伸閱讀News

IBM氣候系統Weather Signals 將改變零售業生態

人工智能時代來臨 AI如何幫助人類戰勝疾病

芬蘭新智慧城市「真空管線」丟垃圾食衣住行搭上 5G、AI 大數據

AI醫療很棒但仍要小心其風險

看一次Youtube，有多少AI演算法為你服務?

AI音樂是什麼？居然連唐鳳也瘋狂的新科技

▲左一桂田文化藝術基金會楊貴媚執行長、樂易創創辦人左永寧、行政院唐鳳政委、資策會科法所王偉霖所長、台企銀李美貴經理

在這個容易分心的時代，微軟希望 AI 能成為你的同事

打CS想開外掛？小心被AI抓走！

800萬神經元模擬人腦，學了不會忘，Intel開發超級神經擬態系統

AI簡史

延伸閱讀News

IBM氣候系統Weather Signals 將改變零售業生態

人工智能時代來臨 AI如何幫助人類戰勝疾病

芬蘭新智慧城市「真空管線」丟垃圾 食衣住行搭上 5G、AI 大數據

AI醫療很棒 但仍要小心其風險

看一次Youtube，有多少AI演算法為你服務?

AI音樂是什麼？居然連唐鳳也瘋狂的新科技

▲左一桂田文化藝術基金會楊貴媚執行長、樂易創創辦人左永寧、行政院唐鳳政委、資策會科法所王偉霖所長、台企銀李美貴經理

在這個容易分心的時代，微軟希望 AI 能成為你的同事

打CS想開外掛？小心被AI抓走！

800萬神經元模擬人腦，學了不會忘，Intel開發超級神經擬態系統

芬蘭新智慧城市「真空管線」丟垃圾食衣住行搭上 5G、AI 大數據

AI醫療很棒但仍要小心其風險