image
This commit is contained in:
19
.gemini/checkpoint-20260425.md
Normal file
19
.gemini/checkpoint-20260425.md
Normal file
@@ -0,0 +1,19 @@
|
||||
# fumen-analyze 진행 리포트 (2026-04-25)
|
||||
|
||||
## 1. 현재 상태
|
||||
- **목표**: TJA 채보 기반 상수 예측 (Feature 및 Factor 방식)
|
||||
- **현재 상황**:
|
||||
- Feature 및 Factor 학습/추론 파이프라인 구축 완료.
|
||||
- XGBoost 및 LightGBM 모델 비교 중.
|
||||
- `script/compare_feature.ts` 실행 환경 점검 필요.
|
||||
- **데이터셋**: 1,000개 이상의 TJA 파일 파싱 및 피처화 성공.
|
||||
|
||||
## 2. 주요 개선사항
|
||||
- **파이프라인 고도화**: TypeScript로 전처리(Parse, Featurize, Factorize)를 모듈화하여 일관성 확보.
|
||||
- **예측 도구**: Python(XGBoost/LightGBM) 기반 예측 및 시각화 도구(`compare_feature.ts`, `compare_factor.ts`) 구성.
|
||||
- **상수 정답지**: `datas/measure.csv`를 기준으로 모델 성능 정량적 평가 체계 마련.
|
||||
|
||||
## 3. 남은 작업
|
||||
- `script/compare_feature.ts` 오류 디버깅 및 안정화.
|
||||
- 모델별(XGBoost vs LightGBM) 성능 최적화.
|
||||
- 에러 분포 시각화(`compare.png`)를 통한 모델 약점 보완.
|
||||
@@ -3,19 +3,20 @@
|
||||
## Technical Stack
|
||||
- **Runtime**: [Bun](https://bun.sh/)
|
||||
- **Language**: TypeScript (Preprocessing), Python (Machine Learning)
|
||||
- **ML Library**: [XGBoost](https://xgboost.readthedocs.io/), [scikit-learn](https://scikit-learn.org/)
|
||||
- **ML Library**: [XGBoost](https://xgboost.readthedocs.io/), [LightGBM](https://lightgbm.readthedocs.io/), [scikit-learn](https://scikit-learn.org/)
|
||||
- **TJA Parser**: [tja-parser](https://www.npmjs.com/package/tja-parser)
|
||||
|
||||
## Key Directories
|
||||
- `preprocess/`: TJA 파싱 및 피처 추출 로직 (TypeScript)
|
||||
- `script/`: 전처리, 학습 제어 스크립트
|
||||
- `train/`: XGBoost 학습 엔진 (Python)
|
||||
- `preprocess/`: TJA 파싱 및 피처/팩터 추출 로직 (TypeScript)
|
||||
- `script/`: 전처리, 학습 제어 및 결과 비교 스크립트
|
||||
- `train/`: 학습 엔진 (Python - XGBoost, LightGBM)
|
||||
- `predict/`: 추론 엔진 (Python)
|
||||
- `datas/tja/`: 원본 TJA 데이터셋
|
||||
- `datas/measure.csv`: 정답지 (상수 데이터)
|
||||
- `test/`: 학습 결과물 (model.pkl, scaler.pkl, features.json)
|
||||
- `output/`: 학습 모델(pkl/pkl), scaler, 결과 데이터(json/png)
|
||||
|
||||
## Data Flow
|
||||
1. `datas/tja/*.tja` → `script/preprocess.ts` → `test/features.json`
|
||||
2. `test/features.json` + `datas/measure.csv` → `train/train_xgboost.py` → `test/model.pkl`
|
||||
3. `test/model.pkl` + `test/features.json` → `predict/predict_xgboost.py` → Result
|
||||
1. `datas/tja/*.tja` → `preprocess/*.ts` → `temp.json` (features/factors)
|
||||
2. `temp.json` + `datas/measure.csv` → `train/*/train_*.py` → `model.*`, `scaler.*`
|
||||
3. `model.*` + `temp.json` → `predict/*/predict_*.py` → Prediction Result
|
||||
4. `script/compare_*.ts` → Evaluation (MAE) & Visualization (PNG)
|
||||
|
||||
Reference in New Issue
Block a user