학습블로그.. AI를 곁들인..

후.. 쉽지 않다.데이터 전처리 과정에서 논리적으로 타당해 보이는 가정과 실험들이막상 모델 학습을 시켜보면 성능이 더 낮게 나오는 경험을 여러 번 하고 있다.한두 번 정도는 오케이지만 여러 번 반복되니 힘이 빠진다.성능은 안 오르고.. 등수는 계속 밀리고.. 시간은 가고..그렇다고 하루종일 붙잡고 있을 수도 없고.. 그럼에도 불구하고 성능이 조금이라도 향상되었을 때의 그 도파민 때문에 계속 하는 것 같다.하지만 이쯤에서 한번 끊어가야겠다고 느낀다.비슷한 ML 태스크에서 다른 사람들이 어떤 것들을 하는지 찾아보면서 공부해봐야겠다.  아무튼, 지금까지 한 생각들1. 데이터를 진정성 있게, 진심을 다해서 봐야 의미 있는 전처리가 가능한 것 같다. 어느 정도의 직관과 감도 중요하다는 것을 느꼈다.2. 논리적으로..

LightGBM- 필요한 노드들만 split하면 되기 때문에 기존 GBM들과 비교했을 때 훨씬 빠르게 학습이 가능하다.- 단, 적은 데이터를 사용하게 되면 오버피팅 가능성이 높음(데이터 약 10,000개 이상일 때만 사용 권장)- 다른 GBM들에 비해서 hyper-parameter sensitive함 (특히 max_depth에 가장 민감함)   출처:[한 번에 끝내는 데이터 사이언스 - LightGBM](https://www.youtube.com/watch?v=L7-LDEtpe8w)

보호되어 있는 글입니다.

보호되어 있는 글입니다.

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf - Exercise 2.1부터 2.10을 풀었다.- 생각보다 시간이 오래걸렸다. (약 6시간)- 문제를 풀면서 개념 정리가 되는 것 같다.- 수학 재밌다!

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf - 이 단원에서는 벡터 공간의 구조를 보존하는 mapping인 Linear Mapping에 대해서 배울 것이다.  Def 2.15 (Linear Mapping)- 벡터공간 $V$에서 벡터공간 $W$로 가는 함수 $\phi: V \to W$ 가 벡터공간의 성질을 유지하면 Linear Mapping(선형변환)이라고 한다.- Linear Mapping이 되려면 아래 2가지 조건을 만족해야 한다.  1. $\phi (x+y) = \phi(x) + \phi(y)$  2. $\phi(\lambda x) = \lambda \phi(x)$ - 모든 line..

보호되어 있는 글입니다.

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 2.6.1 Generating Set and Basis Def 2.13 (Generating Set and Span)- 벡터공간 $V$에 있는 벡터집합 $A = {x_{1}, x_{2}, ..., x_{k}}$에 대해서, A의 벡터들을 linear combination해서 벡터공간 V의 벡터를 표현할 수 있다면, $A$를 $V$의 Generating Set 이라고 한다.- $A$의 벡터들로 만들 수 있는 모든 linear combination의 집합을 $A$의 Span 이라고 한다.- $A$의 span이 벡터 공간 $V$ 전체를 의미하면, $..

보호되어 있는 글입니다.

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf - 이번 단원에서는 벡터로 무엇을 할 수 있는지 알아볼 것이다.  벡터끼리 더할수도 있고, 스칼라곱을 할 수도 있다.  Closure property(벡터 연산을 하기 전과 후의 벡터는 항상 같은 벡터 공간에 속한다) 성질이 있다.  몇 개의 특정 벡터들을 적당히 더하고 곱해서 벡터 공간에 있는 모든 벡터를 만들어 낼 수도 있다.- 2.6에서 Basis라는 개념을 배우기 전에, linear combination과 linear independence에 대한 개념을 공부해야 한다.  Def 2.11 (Linear Combination) - $v$..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf - Vector Spaces란 벡터가 존재하는 공간을 나타낸다.- Group이란 원소들의 집합과 이 원소들 위에 정의된 연산으로 이루어진 구조이다.  이 연산이 집합의 일부 구조를 유지해야 group이라고 할 수 있다. 2.4.1 GroupsDef 2.7 (Group) - 어떤 연산에 대해서 위 4가지 조건(폐쇄성, 결합법칙, 항등원, 역원)을 만족하면 G를 group라고 부른다. - Remark. 연산에 따라서 역원의 정의와 의미가 달라진다.  e.g. 덧셈에 대한 $x$의 역원은 $-x$이고, 곱셈에 대한 $x$의 역원은 $\frac{1}..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 계산을 어떻게 하는지 구체적으로 알아보는 단원이다. 2.3.1 Particular and General Solution- Particular solution 구하는 거까진 이해되는데 general solution 구하는게 무슨 말인지 모르겠다.. (헐 이제 이해됨)  갑자기 $\lambda_{1}$과 $\lambda_{2}$는 어디서 튀어나온 것인가.  다시 보면 이해가 될까..? 이거를 왜 하고 있는지 이해가 안 됨  다시 와서 봐야겠다.  아무튼 지금은 particular solution하고 general solution을 구해서 해를 구..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 먼저 matrix의 정의를 알아보자. Def 2.1 (Matrix)- 실수로 이루어진 ($m$, $n$) $matrix A$는 $m * n$개의 원소로 이루어진 순서쌍이다.- 1에서 $n$을 row라고 하고, 1에서 $m$을 column이라고 한다.  2.2.1 Matrix Addition and Multiplication- mxn행렬 A와 mxn행렬 B의 element-wise sum은 (2.12)와 같다.- mxn행렬 A와 nxk행렬 B의 product(행렬곱)은 (2.13)과 같이 표현되고, Example 2.3과 같이 계산된다.- 여기..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf Linear equation은 선형대수에서 중요한 역할을 한다.많은 문제들이 linear equation으로 표현될 수 있고, 이렇게 되면 많은 문제를 해결할 수 있다. Example 2.1은 linear equation을 이용해서 문제를 해결하는 예시다. (2.3)의 linear equation을 통해서 각 제품을 얼마나 생산할지를 나타내는 $x_{1}, x_{2}, ..., x_{n}$을 구할 수 있다.$x_{1}, x_{2}, ..., x_{n}$을 linear equation system의 solution이라고 한다.  Example ..

PPT슬라이드로 만들었던 PointNet 논문리뷰자료..한 줄 요약: PointNet은 max pooling을 사용해서 point cloud의 점들을 그 자체로 처리할 수 있는 방법을 제안함

"End-to-End Learning for Self-Driving Cars" (2016) https://arxiv.org/pdf/1604.07316 ~ 목차 ~1. Introduction2. Overview of the DAVE-2 System3. Data Collection4. Network Architecture5. Training Details    5.1 Data Selection    5.2 Augmentation6. Simulation7. Evaluation    7.1 Simulation Tests    7.2 On-road Tests    7.3 Visualization of Internal CNN State8. Conclusions 1. Introduction이 글은 CNN의 혁신성과..

"Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite" (2012) https://www.cvlibs.net/publications/Geiger2012CVPR.pdf~ 목차 ~ 1. Introduction2. Challenges and Methodology    2.1 Sensors and Data Acquisition    2.2 Sensor Calibration        2.2.1 Camera-to-Camera calibration        2.2.2 Velodyne-to-Camera calibration        2.2.3 GPS/IMU-to-Velodyne calibration    2.3 Ground Truth ..