多模態降維概論

一句話理解

不同格式的資料(圖片、文字、時序預測的三大陷阱)先各自用適合的模型取出數值向量,再合併降維處理。

問題背景

  • 資料格式不同(影像、語音、文字)→ 難以直接處理
  • 普通降維(PCA-vs-LDA 等)會造成變數關係消失 → 參考 ISOMAP

核心解法

資料類型對應模型
離散DNN
連續序列LSTM-GRU
圖片/時空CNN
文字LLM特徵提取

範例

參數設計

→ 參考 Deep-Learning參數設計

相關概念

所屬課程

MMSAI3