7月6日，這可能是一年中最適合親吻的日子——國際接吻日（International Kissing Day）。

這個節日最早起源於英國。1991年這個節日得到了聯合國的承認，也希望讓更多人知道，親吻的美好，這也是人類表達愛意最自然的一種方式。

那麼，人工智慧可以通過訓練瞭解親吻嗎？

來自Netflix的一位高級資料科學家就對“kiss”鏡頭情有獨鍾，並且通過上百部電影接吻情節的定位，成功訓練出了可以準確識別電影親吻橋段的AI模型——模型的獨創性在於可以區別親吻與性行為。

大千世界，無所不能，AI也能檢測到"kiss"？來一探究竟吧。

讓AI區別kiss和sex

作為愛情片的代表情節，“親吻”一直是很多觀眾最愛反復觀看的鏡頭。不管是《人鬼情未了》中Swayze和Demi Moore的經典接吻橋段，還是《泰坦尼克號》中Rose和Jack的臨別一吻，都造就了經典中的經典。

而在電影觀看過程中，尋找kiss鏡頭，就成為了不少娛樂視頻場景下的一個真實需求。

這項基於人工智慧識別接吻的研究由出自Netflix高級資料科學家Amir Ziai之手——此時他正在斯坦福大學攻讀人工智慧研究生學位。

Ziai在上世紀好萊塢電影中挑選了100部有代表性的作品，並為電影片段手動標注“親吻”或“非親吻”標籤，用靜態畫面和聲音片段來訓練深度學習演算法，以實現對親吻場景的畫面和聲音的識別。

為了避免任何人得到錯誤的印象，目前還不能確定親吻識別演算法能否用於性愛場景。Ziai說到，“在我的訓練集中，我儘量避免出現性愛場景，這樣就能確保我的模型不會混淆接吻和性愛。”

Ziai目前的雇主Netflix並沒有參與到斯坦福大學的這個項目上，但該項目在arXiv中有詳細記載；另外，即使Ziai還沒去調研這項研究在Netflix上的應用，但是不難想像，Netflix或其他公司（如YouTube，Facebook，Instagram和TikTok等處理大量流媒體或存儲視頻的公司）可能會對這一技術的商業應用場景感興趣。

“雙管齊下”：不僅視頻識別，還有kiss的音訊識別

應用於接吻場景視覺識別最成功的深度學習模型是ResNet-18，這是一種圖像分類演算法，且該演算法經來自ImageNet資料庫超過一百萬張圖像的預訓練；而為了識別接吻場景的聲音，研究人員採用了名為VGGish的深度學習模型，通過每個以秒分段的場景的後960毫秒音訊訓練。這種雙管齊下對接吻的圖像和音訊同時處理的AI方法使得訓練出的模型獲得了驚人的F1分（演算法精度和准度的加權平均值，度量模型的一種指標）——0.95。

ResNet-18模型結構圖

在模型結構中，採用"shortcut connection”方式，也就是上圖中的弧線來減少卷積網路傳播過程中的計算和參數量，感興趣的讀者可以研究下，VGGish是是產生音訊資料集的工具,一般用於音訊分類。

不過在面對電影場景中一些棘手的片段或某些拍攝機視角時，該模型還是略顯吃力。例如，遠景或廣角的接吻鏡頭會使演算法產生混淆，因為此類視頻片段中包含了太多背景畫面。此外，一些快節奏的視頻片段和不同時包含兩個演員的鏡頭對模型來講也都是極大的挑戰。

電影《Titanic》中Jack和Rose在郵輪甲板上擁吻圖片

深度學習是一個“黑盒子”，我們很難弄清楚深度學習模型實現預測時所使用的的具體資料模式。為了嘗試理解AI的邏輯，人們通常採用的一種方法是使用顯著地形圖來視覺化分析過程中受到AI關注最多的資料。在好萊塢影片識別接吻場景的專案中，深度學習模型似乎更加關注與演員面部相關的圖像圖元點。

Ziai表示，即使是在少量有限的實驗中也可以看出，人工智慧更依賴視覺特徵而不是音訊特徵來識別接吻場景。他發現“精心挑選的資料集”對於訓練接吻檢測系統有很大説明，這類資料可以讓該系統利用更多的上下文資訊來檢測接吻，而不僅僅是通過靜態圖像。

AI“kiss”之原理

AI模型是如何習得這種能力呢？

和初吻尚在的人類學習基本親吻知識的途徑一樣，AI模型基於已經成熟的深度學習演算法，觀看各式各樣的好萊塢明星上演的浪漫擁吻片段，通過這種大量的訓練來識別影片中人物的面部表情和定位嘴唇，資料科學家說明了AI系統如何能夠更深入地瞭解最親密的人類活動的原理。

讓AI識別kiss有什麼用？

早在2019年4月，穀歌宣佈其智慧手機Pixel已更新其Photobooth功能，這項功能可以在你面部表情發生變化的時候自動拍照，比如說微笑、親吻、嘟嘴、伸舌頭等等，該功能可是使智慧手機從手機拍攝的視頻中識別出接吻畫面。

具體來說，當你按下Photobooth功能的拍攝按鍵之後，手機的AI就會自動分析你的臉部表情。根據不同狀態，手機會自動判定「最佳時刻」，並將這一刻記錄下來。同樣，Ziai研發的應用端視頻接吻識別技術使我們看到了視頻內容自動分類，使用者個性化視頻推薦，甚至視頻線上內容審核的未來。

OpenAI的策略和傳播主管Jack Clark在他的文章《Import AI newsletter》中重點強調了這項研究的意義：“現代電腦視覺技術已經使得開發特定的'感知和回應類'軟體變得相當容易，諸如識別定性或非結構化的東西，識別電影中的接吻場景就是一個極佳的例子，但此類AI對個人軟體的應用能力明顯被低估。”

AI“kiss”之未來

好萊塢影片資料集和計算資源由斯坦福大學電腦科學助理教授Kayvon Fatahalian的實驗室提供。

目前，這個用100部好萊塢影片（如《安娜·卡列尼娜》（1935），《第六感生死戀》（1990）和《007：大戰皇家賭場》（2006）等）訓練的AI模型在面對更大規模的影片時性能尚不清楚。但Ziai表示，在經超過80個影片進行訓練後，該模型只看到了“邊際改善”。

另一個值得關注的問題是這種AI模型在檢測來自社交媒體的不同類型接吻場景視頻時否能達到相似的準確度。這是個極大的挑戰，可能需要模型對更多的視頻資料集進行額外訓練，而且訓練集中不能僅包含那些出現在電影銀幕上諸如Patrick Swayze和Demi Moore的好萊塢明星。儘管如此，從一些非常初步的測試中能看出，這種基於AI的接吻測技術會有很好的的應用前景。

“未來研究將儘量使用更多樣化的資料集，以確保模型不會對於某種類型的電影過擬合，”Ziai說道，“不過有趣的是，該模型在我所選的YouTube視頻上性能表現得相當好。”

圖、文轉載自大數據文摘

首圖/PHOTOAC

kiss AI Netflix 資料科學 AI模型

延伸閱讀News

更多活動

AI簡史

延伸閱讀News

瞄準市場人手不足日本四大巨頭聯手打造AI警衛

人工智慧產業可以從電腦的普及中學到什麼？

黑人報錯率比白人高20%，臉部識別系統為何不能一視同仁？

會下棋的AI就是好AI？

人工智能時代來臨 AI如何幫助人類戰勝疾病

準還要再准，Google想挑戰「即時」天氣預測

無處不在的人工智慧

AI 想為你打造一些新的口味，創新一下食物搭配

東西方文化的差異，讓 AI 價值觀的制定變得困難

AI簡史

延伸閱讀News

瞄準市場人手不足 日本四大巨頭聯手打造AI警衛

人工智慧產業可以從電腦的普及中學到什麼？

黑人報錯率比白人高20%，臉部識別系統為何不能一視同仁？

會下棋的AI就是好AI？

人工智能時代來臨 AI如何幫助人類戰勝疾病

準還要再准，Google想挑戰「即時」天氣預測

無處不在的人工智慧

AI 想為你打造一些新的口味，創新一下食物搭配

東西方文化的差異，讓 AI 價值觀的制定變得困難

瞄準市場人手不足日本四大巨頭聯手打造AI警衛