從0開始學Pytorch:激活函數與卷積層基礎講解
### 激活函數與卷積層概述 **激活函數**:神經網絡需非線性變換擬合複雜關係,激活函數引入非線性。常見函數: - **ReLU**:`y = max(0, x)`,計算簡單,解決梯度消失,最常用(PyTorch:`nn.ReLU()`)。 - **Sigmoid**:`y = 1/(1+exp(-x))`,輸出(0,1)用於二分類,但梯度消失(PyTorch:`nn.Sigmoid()`)。 - **Tanh**:`y=(exp(x)-exp(-x))/(exp(x)+exp(-x))`,輸出(-1,1),均值0,易訓練但仍有梯度消失(PyTorch:`nn.Tanh()`)。 **卷積層**:CNN核心,通過卷積核提取局部特徵。基本概念:輸入(如RGB圖像,形狀`(batch, in_channels, H, W)`)、卷積核(小矩陣)、步長(滑動像素數)、填充(邊緣補0控輸出尺寸)。PyTorch用`nn.Conv2d`實現,關鍵參數:`in_channels`(輸入
閱讀全文Pytorch入門教程:手把手教你搭建第一個神經網絡模型
本文是PyTorch入門教程,通過搭建基於MNIST數據集的全連接神經網絡(MLP)模型,講解核心操作。首先安裝PyTorch(CPU/GPU版),使用torchvision加載MNIST數據集,經ToTensor轉換爲張量、Normalize標準化後,用DataLoader批量處理(batch_size=64)。模型定義爲輸入層784(28×28圖像展平)、隱藏層128(ReLU激活)、輸出層10(Softmax)的MLP,繼承nn.Module實現前向傳播。損失函數選CrossEntropyLoss,優化器用SGD(lr=0.01)。訓練5個epoch,循環執行前向傳播、損失計算、反向傳播與參數更新,每100batch打印損失。測試時模型設爲eval模式,禁用梯度計算,計算測試集準確率。教程還建議擴展方向,如調整網絡結構、更換優化器或數據集等。
閱讀全文零基礎學Pytorch:從張量到神經網絡的入門指南
這篇文章介紹了PyTorch的核心內容及基礎應用。PyTorch以靈活直觀、語法接近Python著稱,適合深度學習初學者,支持GPU加速和自動求導。核心內容包括: 1. **張量(Tensor)**:基礎數據結構,類似多維數組,支持從數據、全0/1、隨機數創建,可與NumPy互轉,支持形狀操作、算術運算(元素級/矩陣)及設備轉換(CPU/GPU)。 2. **自動求導**:通過`autograd`實現自動微分,設置`requires_grad=True`的張量會被追蹤計算歷史,調用`backward()`自動計算梯度,如函數`y=x²+3x-5`在`x=2`時梯度爲7.0。 3. **神經網絡構建**:基於`torch.nn`模塊,包含線性層(`nn.Linear`)、激活函數、損失函數(如MSE)和優化器(如SGD),支持自定義模型類和`nn.Sequential`組合。 4. **實戰線性迴歸**:生成模擬數據`y=2x+3+噪聲`,定義線性模型、MSE損失、
閱讀全文