210227(수) 부스트캠프 일지

#수행내역

1. day 8 강의 수강

 

2. 경사하강법 퀴즈 풀기

 

3. 피어세션 2pm~4pm & 피어세션 ppt 만들기

 

 

#배운점

1. pandas 부분은 이미 알고 있는 부분이어서 새롭게 배운 점은 없었지만 상기시킬 수 있어서 좋았다.

 

2. gradient vector에 대해 좀더 정리했다.

	GD	SGD
정의	모든 데이터를 사용해서 gradient vector 계산	데이터 한 개 또는 일부 활용하여 gradient vector 계산
연산량	많음	적음 -> 빠름
메모리 문제	모든 데이터 업로드하면 메모리가 부족하여 out-of-memory 발생	미니배치로 쪼갠 데이터 이용하므로 메모리 효율적으로 활용 가능
극소값 수렴 여부	-convex 함수 수렴 가능 -non-convex 함수의 경우 수렴 보장x	-convex 함수 수렴 가능 -non-convex 함수의 경우 수렴 보장x
단점	-전체 데이터셋에 대해 gradient vector를 계산하므로 메모리/연산속도 多	-mini-batch size를 너무 작게 잡으면 GD보다 더 느리게 수렴
학습 시 고려해야하는 hyperparameter	learning rate, epoch	learning rate, epoch, mini-batch size