COSCUP 2023

TOSA: 用於深度神經網路中張量操作 (tensor operations) 的嶄新開源架構
2023-07-29, 10:40–11:10 (Asia/Taipei), TR 615
Language: Traditional Chinese (Taiwan)

Tensor Operator Set Architecture (TOSA) 提供了一套常用於深度神經網路的全張量操作。其目的是使得在不同處理器 (CPU, GPU, NPU) 上運行的各種實現規範，能夠在 TOSA 層面上保持一致的結果。

針對 TOSA 的應用或框架可以在多種不同的處理器上部署，包括 SIMD CPU、GPU，以及自定義的硬體如 NPUs/TPUs，並且有明確的精確度和相容性限制。大多數常見的機器學習框架（例如 TensorFlow、PyTorch 等）的大部分運算符應該都可以在 TOSA 中表達。預計將會有工具可以將機器學習框架轉換成 TOSA 的表示方式。

Difficulty –

Skilled

 Target Audience –

Edge AI developer, SoC designer.
Odin Shen

Business Development | AI edge computing specialist | SoC arch. exploration | Semiconductor functional safety expert | Cloud Native Computing | Co-founder TinyML Taipei | Embedded Maker | Kid's Coding Volunteer