배치 사이즈(batch_size), 반복(iteration), 에폭(epoch)

1. 배치 사이즈 (Batch size)

학습 데이터가 큰 경우 한번에 모델에 넣어 학습하는 것이 메모리와 계산 측면에서 불가능할 수 있다. 따라서 데이터셋을 작은 단위로 나누어 모델에 입력하는데 이때 단위를 '배치'라고 한다.

즉, 데이터를 일괄적으로 몇개를 모아 처리할 것인가를 나타내는 값이다. 

예를 들어 전체 데이터가 3,000개 인데 한번에 300개씩 데이터를 학습시킨다면 Batch_size = 300 이다.

 

2. 반복 (Iteration)

전체 데이터에 대한 총 batch의 수를 의미하고, step이라고도 한다. 

위에서 전체 데이터가 3000개이고, batch = 300이라고 했는데 이때 모든 데이터를 학습 시키려면 batch는 총 10개가 필요하다. (300 x 10 = 3000) 이때 필요한 배치의 갯수를 Iteration이라고 한다. iteration = 10은 즉, 10번에 걸쳐 파라미터가 업데이터 된다고도 할 수 있다.

 

3. 에폭 (Epoch)

전체 학습 데이터셋을 모델이 학습하는 횟수를 나타낸다. 즉, 전체 데이터를 모델이 몇 회독을 했느냐를 의미한다.

1 epoch = 전체 데이터셋을 한 번 사용하여 학습하는 것을 의미한다.

배치사이즈에서 3000개의 학습 데이터를 300 배치 사이즈로 학습을 한다고 했는데, 1에폭은 300x10 (=3000) 즉, 10번의 배치가 처리되면 1 에폭이 된다.