【GoogleColab】ニューラルネットワークの画像生成　その２【オートエンコーダ】

前回までの作成プログラム

①PyTorchをインポートし、学習データMINISTを取得します。
→学習データ(画像)の取得

②読み込んだ学習データMINISTを表示して確認します。
→データセットの画像確認

③学習用データセットのクラスを作成します。
→学習用データセットの準備

必要なもの

必要なものはWindowsあるいはMacPCのみです。ただし、GoogleChoromeをインストールしている必要があります。GoogleColabを使うには、以下のステップが必要です。

①Googleアカウントを用意してログインする。

②Colabにアクセスし、プログラムを書き込むノートブックを作成する。

→【無料】Google Colabを使ってサクッとPythonを使う【Python】

実行環境の準備

①Colabにアクセスします。

→Colab

②左上の「ドライブにアクセス」をクリックします。

③「その他」の「アプリを追加」から「Colaboratory」をインストールします。

④ノートブックをひらけばpythonのコードが記述できます。

DataSubsetのインスタンス準備

DataSubsetのインスタンスを生成し、画像などの設定を行います。

IMG_MEAN, IMG_STD = (0.5, 0.5)

trans = transforms.Compose([
  transforms.Resize(64),
  transforms.ToTensor(),
  transforms.Normalize((IMG_MEAN,),(IMG_STD,)) 
])

use_classes = [1,6,9]
for c in use_classes:
  print(fmnist.classes)

# FashionMNISTのラベルなしサブセットを用意
dataset = DataSubset(orig_dataset=fmnist,
  n_each = 200, #各クラス何枚用いるか
  use_classes = [1,6,9], #加えるクラス
  transform = trans #画像読み込み変換
)
print('dataset size:',  len(dataset))

出力結果：

Trouser
Shirt
Ankle boot
dataset size: 600

trans = transforms.Compose([
  transforms.Resize(64),
  transforms.ToTensor(),
  transforms.Normalize((IMG_MEAN,),(IMG_STD,)) 
])

# FashionMNISTのラベルなしサブセットを用意
dataset = DataSubset(orig_dataset=fmnist,
  n_each = 200, #各クラス何枚用いるか
  use_classes = [1,6,9], #加えるクラス
  transform = trans #画像読み込み変換
)

DataLoaderの設定

ニューラルネットワークの学習では、画像を入力しながらパラメーターを更新して学習を進めます。実際は１枚ずつ画像を入力するのではなく、ある程度の枚数をまとめて入力します。この画像集合体の１つの単位を「ミニバッチ」と呼びます。その枚数を「バッチサイズ」

batch_size = 32 #バッチサイズ
loader = torch.utils.data.DataLoader(
    dataset, batch_size = batch_size, shuffle=True)

def tensor_imshow(img, title = None, show=True):
  """Tensorを画像として表示"""
  img = img.numpy().transpose((1,2,0))
  img = IMG_STD * img + IMG_MEAN
  plt.imshow(np.clip(img, 0, 1))
  if title is not None: plt.title(title)
  if show: plt.show()

#ミニバッチの表示
tensor_imshow(torchvision.utils.make_grid(
    next(iter(loader))
))

表示結果：

batch_size = 32 #バッチサイズ
loader = torch.utils.data.DataLoader(
    dataset, batch_size = batch_size, shuffle=True)

def tensor_imshow(img, title = None, show=True):
  """Tensorを画像として表示"""
  img = img.numpy().transpose((1,2,0))
  img = IMG_STD * img + IMG_MEAN
  plt.imshow(np.clip(img, 0, 1))
  if title is not None: plt.title(title)
  if show: plt.show()

#ミニバッチの表示
tensor_imshow(torchvision.utils.make_grid(
    next(iter(loader))
))

ニューラルネットの準備

入力層から潜在変数へ変換するためのネットワークを「エンコーダー」と呼び、潜在変数から出力層までのネットワークを「デコーダー」と呼びます。

class Autoencoder(nn.Module):
  """"エンコーダー、デコーダー共に３層"""
  def __init__(self,img_size, nz):
    super(Autoencoder, self).__init__()
    
    input_size = img_size * img_size
    nz1 = input_size // 4
    nz2 = nz1 // 4

    self.encorder = nn.Sequential(
        nn.Linear(input_size, nz1),
        nn.ReLU(inplasce=True),
        nn.Linear(nz1,nz2),
        nn.ReLU(inplasce=True),
        nn.Linear(nz2,nz),
    )

    self.dencorder = nn.Sequential(
        nn.Linear(nz, nz2),
        nn.ReLU(inplasce=True),
        nn.Linear(nz2,nz1),
        nn.ReLU(inplasce=True),
        nn.Linear(nz1,input_size),
    )
    
    def forward(self, x):
      z=self.encoder(x)
      x=self.decoder(z)
      return x

class LinearAE(nn.Module):
  """エンコーダー、デコーダー共に１層"""
  def __init__(self,img_size, nz):
    super(LinearAE, self).__init__()
    self.encorder = nn.Linear(img_size * img_size, nz)
    self.dencorder = nn.Linear(nz, img_size * img_size)

  def forward(self, x):
    z=self.encoder(x)
    x=self.decoder(z)
    return x

    input_size = img_size * img_size
    nz1 = input_size // 4
    nz2 = nz1 // 4

    self.encorder = nn.Sequential(
        nn.Linear(input_size, nz1),
        nn.ReLU(inplasce=True),
        nn.Linear(nz1,nz2),
        nn.ReLU(inplasce=True),
        nn.Linear(nz2,nz),
    )

    self.dencorder = nn.Sequential(
        nn.Linear(nz, nz2),
        nn.ReLU(inplasce=True),
        nn.Linear(nz2,nz1),
        nn.ReLU(inplasce=True),
        nn.Linear(nz1,input_size),
    )

class LinearAE(nn.Module):
  """エンコーダー、デコーダー共に１層"""
  def __init__(self,img_size, nz):
    super(LinearAE, self).__init__()
    self.encorder = nn.Linear(img_size * img_size, nz)
    self.dencorder = nn.Linear(nz, img_size * img_size)

  def forward(self, x):
    z=self.encoder(x)
    x=self.decoder(z)
    return x

結果表示用の関数

def input_add_reconst(net, loader, seed = None):
  """入力画像と再構成画像をミニバッチ分表示"""
  if seed is not None:
    torch.manual_seed(seed)

    net.eval() #推論モード
    with torch.no_grad(): #推論のみ（勾配計算なし）
      imgs = next(iter(loader)) #DataLoaderからミニバッチ抽出
      imgs_in = imgs.view(-1, imgs.shape[2]*imgs.shape[3])
      outputs = net(imgs_in.to(device)) #順伝播による推論

      #入出力それぞれのグリッド画像を生成
      grid_i = torchvision.utils.make_grid(imgs)
      grid_o = torchvision.utils.make_grid(
          outputs.view(-1, 1, imgs.shape[2], imgs.shape[3]). \
            detach().cpu()
      )
      #入力画像と再構成画像をミニバッチ単位で表示
      tensor_imshow(grid_i, title = 'Inputs' )
      tensor_imshow(grid_o, title = 'Reconstructed' )

次回

工事中。