計算機視覺技術(shù)：事件相機原理與應(yīng)用

第1 章 計算機視覺簡介 001
1.1 計算機視覺的概念 001
1.2 計算機視覺的應(yīng)用 002
1.2.1 圖像分類 003
1.2.2 目標(biāo)檢測 003
1.2.3 圖像分割 004
1.2.4 目標(biāo)跟蹤 004
1.2.5 其他應(yīng)用 005
1.3 思考與練習(xí) 005

第2 章 事件相機的原理 006
2.1 數(shù)學(xué)基礎(chǔ)知識 007
2.1.1 導(dǎo)數(shù) 007
2.1.2 積分 014
2.1.3 神經(jīng)元模型 018
2.1.4 多層感知機與全連接層 023
2.1.5 損失函數(shù) 028
2.1.6 神經(jīng)網(wǎng)絡(luò)的優(yōu)化 030
2.2 事件相機的概念及原理 034
2.3 常用的事件相機 042
2.3.1 DVS 相機 042
2.3.2 ATIS 相機 043
2.3.3 DAVIS 044
2.3.4 商業(yè)事件相機 044
2.4 思考與練習(xí) 045

第3 章 事件信息的編碼 046
3.1 點云式編碼 046
3.2 CountImage 編碼 047
3.3 張量式編碼 049
3.4 局部CountImage 編碼 050
3.5 TimeImage 編碼 051
3.6 Leaky Surface 編碼 053
3.7 思考與練習(xí) 056

第4 章 事件的普通卷積 057
4.1 2D 卷積的基本原理 057
4.2 卷積神經(jīng)網(wǎng)絡(luò)的組成 064
4.2.1 卷積層 064
4.2.2 池化層 065
4.2.3 全連接層 066
4.2.4 全局最大/平均池化 067
4.3 事件2D 卷積的適用范圍 068
4.3.1 編碼要求 068
4.3.2 直接事件卷積存在的問題 070
4.4 思考與練習(xí) 071

第5 章 事件的稀疏卷積 072
5.1 稀疏卷積的基本原理 072
5.1.1 SC 層的定義 072
5.1.2 VSC 層的定義 074
5.2 稀疏池化與全連接層 079
5.2.1 稀疏池化層 079
5.2.2 稀疏全連接層 081
5.3 稀疏卷積的特征 082
5.3.1 編碼要求 082
5.3.2 流形擬合特性 082
5.3.3 稀疏卷積的缺點 083
5.4 思考與練習(xí) 083

第6 章 事件的圖卷積 084
6.1 圖卷積的基本原理 084
6.1.1 事件的采樣 084
6.1.2 圖的概念及事件圖的構(gòu)建 088
6.1.3 圖卷積的定義 094
6.1.4 圖池化及圖全連接層的定義 097
6.2 圖卷積的特性 099
6.2.1 編碼要求 099
6.2.2 圖的普適性 099
6.2.3 方向可變性 100
6.3 思考與練習(xí) 101

第7 章 事件的3D 卷積 102
7.1 3D 卷積的原理 102
7.1.1 卷積層的擴展 102
7.1.2 池化層的擴展 105
7.2 事件輸入與3D 卷積的特點 108
7.2.1 事件輸入的編碼要求 108
7.2.2 直接3D 卷積的現(xiàn)存問題 109
7.2.3 3D 卷積的可分解性 110
7.3 4D 卷積簡介 110
7.4 思考與練習(xí) 114

第8 章 基于LSTM 的事件處理 115
8.1 LSTM 的基本原理 115
8.1.1 LSTM 細胞的定義 115
8.1.2 LSTM 的運算更新 118
8.2 LSTM 的變體及事件處理 123
8.2.1 ConvLSTM 123
8.2.2 PhasedLSTM 125
8.3 思考與練習(xí) 126

第9 章 基于脈沖神經(jīng)網(wǎng)絡(luò)的事件處理 127
9.1 普通神經(jīng)元的局限 127
9.2 脈沖神經(jīng)網(wǎng)絡(luò)的概念 128
9.2.1 脈沖神經(jīng)元模型 130
9.2.2 脈沖全連接層 133
9.2.3 脈沖卷積層 135
9.2.4 脈沖池化層 136
9.3 脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 137
9.4 脈沖神經(jīng)網(wǎng)絡(luò)的特點 138
9.4.1 編碼要求 138
9.4.2 脈沖神經(jīng)網(wǎng)絡(luò)的局限 139
9.5 思考與練習(xí) 140

第10 章 基于生成對抗網(wǎng)絡(luò)的事件處理 141
10.1 生成對抗網(wǎng)絡(luò)的基本原理 141
10.1.1 普通GAN 的對弈原理 141
10.1.2 cGAN 的對弈原理 148
10.1.3 Cycle-GAN 的對弈原理 149
10.1.4 Info-GAN 的對弈原理 154
10.2 事件圖像的生成 155
10.3 思考與練習(xí) 157

參考文獻 158