[AI] epoch, batch size, iteration, step

*epoch, batch size, iteration, step

one epoch = when an ENTIRE dataset is passed forward and backward through the neural network only ONCE

전체 sample 데이터를 이용하여 한 바퀴 돌며 학습하는 것

batch size = total number of training examples present in a single batch (cf. batch와는 다름)

iteration = number of batches needed to complete one epoch

1 step = Weight와 Bias를 1회 업데이트하는 것

s = (n * e) / b

n = num of sample : 전체 학습할 데이터의 개수

e = epochs: Epoch 수

b = batch size: 배치 사이즈

s = steps: Step 수

The number of batches is equal to number of iterations for one epoch. (O)

Q. 만약 epochs와 steps를 모두 지정하면 어떻게 될까?

지정된 최대 steps이하에서 수행하게 되고 최대 값에 도달하면 중지한다.

만약 최대 steps에 도달하지 못한다면 지정된 epochs만큼 여러 바퀴를 돌며 학습하게 된다.

참고문헌

Epoch vs Batch Size vs Iterations

sohyunwriter