직교화

• 여러 특성(또는 벡터)을 서로 독립적이게, 즉 직교하게 만드는 과정
• 이를 통해 하나의 파라미터가 특정 특성에만 영향을 미치고 다른 특성에는 영향을 미치지 않도록 함
• 이는 여러 변수를 조정할 때 각 변수 간의 상호작용을 최소화하고, 각 파라미터가 서로 독립적으로 작동할 수 있도록 하는 중요한 기법

ML 에서의 직교화

1. 훈련 세트의 에러 낮추기
   1. 더 큰 네트워크
   2. Adam 도입 등
2. 개발 세트의 에러 낮추기
   1. 정규화
   2. 더 큰 훈련 세트
3. 테스트 세트의 에러 낮추기
   1. 더 큰 개발 세트
4. 실제 사용
   1. 개발 세트 혹은 비용함수 변경

• 각 단계에서 조정할 수 있는 요소들은 다른 요소를 간섭하지 않고 변경하여 현상을 개선한다. → 직교화
• 훈련 세트의 에러를 낮추기 위해 네트워크를 키우거나 Adam을 도입하는 것은 개발 세트의 에러와 독립적이기 때문에 각각 직교화의 좋은 예시이다