학습블로그.. AI를 곁들인..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 3.5 Orthonormal BasisSection 2.6.1에서 basis의 성질을 다루면서 n차원 벡터공간에는 n개의 basis 즉, n개의 선형 독립 벡터가 필요하다는 것을 배웠다.Section 3.3과 3.4에서는 벡터의 길이와 벡터 간의 각도를 구하기 위해서 inner product를 사용했다.이제 basis 벡터들이 orthogonal하고 각 벡터들의 길이가 1인 orthonormal basis에 대해서 살펴볼 것이다.  Def 3.9 (Orthonormal Basis)n차원의 벡터공간 $V$와 이 벡터공간에 n개의 basis {$..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 3.3 Lengths and DistancesSection 3.1에서 벡터의 길이를 구할 때 norm을 사용했다.내적은 norm과 관련이 깊다. $\| x \| := \sqrt{\langle x, x \rangle}$과 같이 내적을 통해 norm을 구할 수 있기 때문이다.지금부터 우리는 내적으로부터 유도되는 norm들에 대해서 살펴보면서(cf. 맨하튼norm x) 길이, 거리, 각도와 같은 것들을 공부할 것이다.  Remark (Cauchy-Schwarz Inequality).$(V, \langle \cdot, \cdot \rangle)$에서..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 3.2 Inner ProductsInner product는 벡터의 길이와 두 벡터 사이의 각도를 직관적으로 알 수 있게 해준다.주로 벡터들이 서로 orthognal한지 확인하기 위해 사용된다. 3.2.1 Dot ProductDot Product은 두 벡터를 입력으로 받아서 스칼라 값을 반환하는 연산이다.​ 공식은 아래와 같다. $$\mathbf{x}^\top \mathbf{y} = \sum_{i=1}^{n} x_i y_i$$ 하지만 inner product는 단순한 dot product보다는 일반적인 개념이다.  3.2.2 General Inne..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 3 Analytic GeometryChapter2에서는 벡터, 벡터공간, 선형맵핑에 대해서 전체적으로, 하지만 추상적으로 배웠다.이번 챕터인 Chapter3에서는 여기에 기하학적인 이해와 직관을 더해볼 것이다.구체적으로는 geometric vector들의 길이를 계산하고, 두 geometric vector 사이의 거리와 각도를 구해볼 것이다.그러기 위해서 벡터공간을 inner product(벡터공간의 기하학적인 것들을 유도함)로 다룰 것이다.Inner product과 관련된 norm과 metric들은 유사성과 거리에 대해서 직관적으로 알 수 ..

정처기 필기 합격 후기 (2025년 1회차)2025년 1회차 필기를 봤다. 69점(60/80/60/75/70)으로 아슬아슬하게 합격했다.~~ 목차 ~~1. 응시 이유/목표2. 베이스3. 공부 방법4. 시험 후기 1. 응시 이유 / 목표정보처리기사 자격증 자체가 필요하지는 않았지만 비전공자로서 최소한의 CS지식을 알고 있다는 것을 보이고 싶었다.때마침 딱 필기시험 접수기간이어서 시험을 보기로 했다. 2. 베이스베이스가 아예 없다고 할 순 없었다.유리한 점부족한 점- 전체적으로 익숙한 용어들이 많았음- SQLD 취득- CS 기초지식 훑는 스터디 경험- 학교에서 c언어, 네트워크, 데이터베이스 과목 청강 경험- JAVA 문외한- 5과목(정보시스템 구축관리) 문외한 3. 공부 방법오른쪽의 수제비 기출문제집과 c..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf - Exercise 2.11부터 2.20을 풀었다.- 생각보다 시간이 오래걸렸다. (약 6시간)- 저번이 어렵다고 생각했는데, 이번이 훨씬 어렵다.- 선형대수 어렵다..

후.. 쉽지 않다.데이터 전처리 과정에서 논리적으로 타당해 보이는 가정과 실험들이막상 모델 학습을 시켜보면 성능이 더 낮게 나오는 경험을 여러 번 하고 있다.한두 번 정도는 오케이지만 여러 번 반복되니 힘이 빠진다.성능은 안 오르고.. 등수는 계속 밀리고.. 시간은 가고..그렇다고 하루종일 붙잡고 있을 수도 없고.. 그럼에도 불구하고 성능이 조금이라도 향상되었을 때의 그 도파민 때문에 계속 하는 것 같다.하지만 이쯤에서 한번 끊어가야겠다고 느낀다.비슷한 ML 태스크에서 다른 사람들이 어떤 것들을 하는지 찾아보면서 공부해봐야겠다.  아무튼, 지금까지 한 생각들1. 데이터를 진정성 있게, 진심을 다해서 봐야 의미 있는 전처리가 가능한 것 같다. 어느 정도의 직관과 감도 중요하다는 것을 느꼈다.2. 논리적으로..

LightGBM- 필요한 노드들만 split하면 되기 때문에 기존 GBM들과 비교했을 때 훨씬 빠르게 학습이 가능하다.- 단, 적은 데이터를 사용하게 되면 오버피팅 가능성이 높음(데이터 약 10,000개 이상일 때만 사용 권장)- 다른 GBM들에 비해서 hyper-parameter sensitive함 (특히 max_depth에 가장 민감함)   출처:[한 번에 끝내는 데이터 사이언스 - LightGBM](https://www.youtube.com/watch?v=L7-LDEtpe8w)

보호되어 있는 글입니다.

보호되어 있는 글입니다.