索尼半導體解決方案公司（下稱“索尼”）推出的智能視覺傳感器是世界首個具有 AI 處理功能的圖像傳感器。智能視覺傳感器在傳感器自身進行高速 AI 處理（邊緣 AI 處理），僅輸出元數據（語義信息），有望拓展正廣泛應用于零售或工業等環境中智能攝像頭的使用場景。此外，索尼于 2020 年 5 月開始與微軟合作，創建使用AI賦能的智能攝像頭的解決方案。這些智能攝像頭搭載智能視覺傳感器并具有視頻分析功能。雙方合作的一項內容是聯合創新實驗室（Co-Innovation Labs），由索尼和微軟聯合發起，旨在支持合作伙伴和客戶進行解決方案的開發、原型設計和測試。今天我們將以采訪的形式介紹Nomad Go這一案例。Nomad Go這家位于華盛頓州柯克蘭的公司創造了計算機視覺技術，以幫助物理空間（建筑）減少碳足跡、變得更健康節能。該公司在索尼和微軟的支持下，基于聯合創新實驗室高效地開發了自己的解決方案。
圖片版權（Hildegarde/Getty Images）
大家不妨想象一下：早上 7 點起床，日程安排顯示當天中午只有一個約會。于是你立即來到車前，啟動引擎，讓車發動起來直至出發。幾個小時后，你出門赴約并返回家?，F在到了下午1點，但是你還想讓車子在天黑之前繼續保持發動狀態。畢竟，你很可能還需要再次外出。這一系列行為是不是和城鎮里各個辦公樓、購物中心和公寓大樓的碳排放行為一致呢？
Nomad Go 首席執行官兼聯合創始人 David Greschler
David Greschler：“當今各個商業建筑就是這樣運轉的，這令人震驚而且極其浪費！實際上溫室氣體排放的第一大排放源并不是工業，也不是交通運輸業，而是建筑物” 。
基于聯合國環境規劃署的數據，商業建筑占地球二氧化碳 (CO2) 排放量的 39%?？茖W家說，這種在大氣中存在了數百年的固熱氣體，正在加劇氣候變化并引發極端天氣。
為什么商業建筑會出現這樣的問題？ 他們的供暖、通風和空調（或簡稱“HVAC”）系統通常由預設計時器控制，每天運行12小時（或更長時間），無論是否有人在場。這些建筑常常消耗能量，以使空的房間、大堂和公共空間變得舒適，只為滿足那些可能存在的使用者。
Nomad Go 創造了一種產品，可以遏制這種浪費：計算機視覺可以檢測商業空間中是否有人，以及如果有人，那么有多少人、停留多長時間。來自該解決方案的數據可以根據是否有使用者而非設定的時間計劃，精確地為房間加熱、冷卻和通風，從而顯著減少能源使用和相應的溫室氣體排放。
該解決方案使用計算機視覺和人工智能 (AI)，可以快速了解每個房間的細微差別并做出反應，例如房間一般每天接收多少陽光或清潔人員在夜間到達的頻率等。這些調整可進一步優化房間內的能源消耗情況。
日前索尼和微軟創建了四個聯合創新實驗室，作為 2020 年合作伙伴關系的一部分。Nomad Go 的工程師受邀使用其中一個實驗室，利用索尼推出的智能視覺傳感器 IMX500和微軟 Azure AI，創建一個解決方案。
這些實驗室為客戶提供工具、專業知識和其他資源，用以開發智能攝像頭技術。隨著創新解決方案陸續在實驗室中誕生，索尼和微軟會幫助他們的合作伙伴和客戶去驗證解決方案、縮短上市時間并幫助克服技術方面的挑戰。
聯合創新工作室（位于雷德蒙德）
David Greschler：“與微軟和索尼合作的興奮之處在于，能將我們的技術規?；⒔档瓦M入市場的壁壘，對我們來說，可以省去很多麻煩。此外，今年夏天伴隨著無盡的熱浪和嚴重的干旱，似乎我們已經到了氣候變化的一個臨界點，這款產品的推出已迫在眉睫” 。
隨著一些學術研究人員在相對較新的人工智能領域進行探索，計算機視覺于20世紀60年代出現，設想通過賦能計算機，從數字圖像和視頻中收集資訊來構建模擬人類視覺的技術。
近年來這項技術不斷完善，用戶開始將他們的照片和視頻數據上傳到云端進行AI分析。
但是這種設置有一個問題：傳統意義上，它需要將大量數據發送到云端，這可能會花費大量資金并造成網絡擁堵。
Nomad Go 選擇了一條不同的路徑：邊緣計算是由設備本身完成的，距離數據源只有幾英尺遠。在這一情況下，這些設備是智能傳感器。
在聯合創新實驗室，Nomad Go的工程師使用首款具備AI 處理功能的圖像傳感器、索尼智能視覺傳感器 IMX500 構建了他們的解決方案。
索尼半導體解決方案（美國）公司 技術和業務創新副總裁Mark Hanson
Mark Hanson：“實際我們的解決方案成本更低、占用空間少、不引人注目且功耗更低。它不會持續將視頻流發送到云端進行分析，在芯片上完成了很多此類工作，而且因為不發送圖像流，所以它不需要大量網絡基礎設施或帶寬來傳遞結果。更重要的是，搭載我們芯片的攝像頭解決了隱私問題，因為它們輸出的是元數據，即用于描述所有收集到的數據信息的基本數據，例如人數，而不是他們的身份” 。
IMX500 可以不從傳感器本身發送圖像或視頻。這不但對一些生產設施非常有效，也適用于零售等其他應用場景。
IMX500應用于零售等廣泛場景
Nomad Go 工程師在實驗室為他們的產品配置 Azure 自定義視覺服務（Azure Custom Vision），這是一種幫助客戶應用計算機視覺的AI 服務和端到端平臺。自定義視覺與索尼的工具鏈相結合，具有從培訓數據集到實際設備部署完整的集成化工作流程，可令邊緣計算賦能的 AI 模型的開發過程更高效。
微軟人工智能和物聯網實驗室項目全球負責人Jun Yamasaki
Jun Yamasaki：“我們成功幫助 Nomad Go 團隊完成培訓、包裝和將自定義視覺模型部署到設備的初始階段，并指導該團隊進行關鍵架構決策，確保他們解決方案的穩定性和準確性能夠擴展到生產中” 。
Nomad Go 現已將解決方案部署在一些公司的建筑大樓內，包括高層住宅的公共區域、辦公大樓的會議室和一些公司總部等。
實施這些措施后，企業報告其能源成本有所降低、溫室氣體排放減少、空氣質量得已改善以及HVAC設備的磨損和維護減少。
美國建筑和能源服務公司McKinstry 是其中一家公司。該公司表示，它在西雅圖總部（包括其主會議室）的能源使用量和二氧化碳排放量都減少了38% 以上。此前，會議室依賴于每個工作日早上 6 點自動打開并在下午 5 點自動關閉的 HVAC 系統。
在實施該解決方案之前
在實施解決方案后
僅在一棟 12 層高、460,000 平方英尺的建筑部署Nomad Go系統，對環境會有多少幫助？據Nomad Go 的數學計算（基于美國環境保護署提供的碳足跡計算器），這每年至少能減少1000 噸二氧化碳排放，相當于超230 輛乘用車一年的排放量。
僅在美國，就有近 800 萬座建筑物，其中包括 560 萬座商業建筑和 170 萬座公寓大樓。
David Greschler：“我們改變了思考建筑的范式，已經從以建筑為中心轉變為以人為中心?！?/p>
Nomad Go 受邀參加聯合創新實驗室的一部分原因是，它的技術對地球友好，而索尼和微軟都致力于為可持續社會的發展做出貢獻。
目前有四個聯合創新實驗室。一個位于日本東京，在索尼的辦公大樓內。另外兩個實驗室分別位于華盛頓雷德蒙德和德國慕尼黑，都在微軟園區內。第四個位于上海張江人工智能島。Nomad Go 使用了雷德蒙德實驗室，由于疫情原因，采用遠程形式。
各個實驗室都配備了微軟的技術工程師。 索尼為參與實驗室活動提供技術資源。
Jun Yamasaki：“目前聯合創新實驗室已服務了四個合作伙伴。還有一些客戶準備參加。有興趣的公司可以在線申請，參與者可以更快地進行構建、以更低的成本開發、在更短時間上市，在這些方面獲益。我們相信將這些工具與合作伙伴所帶來的（資源）相結合，有望塑造邊緣微型人工智能應用場景的未來，我們已迫不及待想要了解未來我們的實驗室合作伙伴還會帶來哪些項目”。
?
只有全球建設預測準確的情況下，對 Nomad Go 解決方案的需求才會加速。
微軟聯合創始人比爾·蓋茨在他最近出版的《如何避免氣候災難（How to Avoid a Climate Disaster）》一書中寫道，到 2060 年，地球上不斷增長的人口將導致世界范圍內的建筑存量翻一番，相當于“在四十年里每月建造一座紐約市”。
David Greschler：“在那種情況出現的很久之前，也許最快在今年秋天，數百萬員工（疫情后）最終將回歸到一種混合式的工作空間中，這將為現有的HVAC系統制造一個亟待解決的難題?；旌鲜焦ぷ骺臻g的出現令對空間使用率的關注度提升，我們不知道誰會在房間里，房間里是否有人。這樣的空間非常適合使用Nomad Go。而我們的團隊已得出一些可以產生顯著效果的發現?！?/p>
?
信息來源：
※1 聯合國環境計劃“全球現狀報告2017”—基本2021年8月的查詢結果
※2 密歇根大學“商業建筑情況說明書”—基于2021年8月的查詢結果
※3 Reonomy 機構關于“美國公寓建筑”的報告—基于2021年8月的查詢結果
?
本文譯自索尼集團企業博客，譯文僅供參考。
