learning-log22 님의 블로그

8 장: 비계절형 ARIMA 모형 적합• 정상성 확인: 모형 적합 전, 시계열의 정상성 확인 → 비정상인 경우 정상화 필요.• 모형 식별: 간결성 원칙에 따라 차수가 작은 모형 선호.o ACF → MA 차수 식별, PACF → AR 차수 식별.• 모형 추정 방법: 조건부 / 비조건부 최소제곱법, 최대우도법 (이름만 숙지).• 모형 진단:o 잔차 분석: 1. 정규성 여부 2. 백색잡음 과정 여부o 적합성 검정:§ 포트멘토 검정: 귀무가설 = 모형 적합 → 기각 시 적합하지 않음.o 과대적합 검정: 모수 추가 → 유의성, 분산 감소 시 새로운 모형 선택.✅ 주의사항• 포트멘토 검정 해석: p-value > 0.05 → 모형이 적합.• 과대적합 판별 기준: 1. 추가된 모수가 유의 2. 모수 추정값 차이 큼 ..

VAR 모형으로 다변량 시계열 해석GDP와 소비, 금리와 환율, 주가와 거래량처럼 서로 영향을 주고받는 시계열을 따로따로 분석하면 중요한 관계를 놓칠 수 있습니다. 이럴 때 필요한 것이 바로 벡터 시계열 모형(VAR) 입니다. 벡터 시계열 모형이란?● 정의여러 개의 시계열 데이터를 동시에 분석하여 상호작용과 동태적 관계를 파악하는 모형.● 특징특정 시계열을 종속변수로 고정하지 않음변수 간 양방향 영향(피드백) 도 고려 가능일변량 ARIMA와 달리 공통 구조를 가진 VAR 형태로 해석1️⃣ 벡터 자기회귀 모형 (VAR)● 기본 형태 (VAR(1))Zₜ = c + Φ₁Zₜ₋₁ + εₜZₜ: m차원의 시계열 벡터Φ₁: 계수 행렬εₜ: 백색 잡음 벡터● 일반형 VAR(p)Zₜ = c + Φ₁Zₜ₋₁ + Φ₂Zₜ..

ARCH와 GARCH 모형 – 변동성을 모델링하자금융 시계열 데이터를 다루다 보면 수익률은 평균이 0에 가깝지만, 변동성은 시간에 따라 달라지는 특성을 자주 마주칩니다.이럴 때 필요한 것이 바로 이분산 시계열 모형, 특히 ARCH, GARCH 모형입니다. 📌 이분산 시계열이란?일반적인 ARIMA 모형은 분산이 일정하다는 가정(등분산)을 갖습니다.그러나 환율, 주가수익률, 선물 등은 분산(리스크)이 시점에 따라 바뀌는 이분산(heteroskedastic) 특성을 보입니다. 1️⃣ ARCH 모형 (Autoregressive Conditional Heteroskedasticity)● 기본 개념오차항의 분산이 시간에 따라 변하는 구조를 모형화과거의 오차항 제곱 값이 현재 분산에 영향을 미침● 수식 (ARCH(..

개입분석과 이상점 탐지 현실의 시계열 데이터는 단순한 추세와 계절성만으로 설명되지 않습니다.정책, 사건, 사고, 자연재해처럼 외부 요인(개입) 이나 이상점(Outlier) 이 시계열에 영향을 주는 경우도 많습니다. 이때 사용하는 분석 기법이 바로 개입분석과 이상점 탐지입니다.1️⃣ 개입분석(Intervention Analysis)란?시계열에 영향을 준 사건의 시점과 원인을 알고 있을 때,그 사건이 시계열에 어떤 영향을 미쳤는지를 모델링하고 추정하는 기법입니다.● 적용 사례대기오염 규제 정책이 오존 농도에 미친 영향대규모 주택 건설 정책이 건축허가면적에 끼친 영향정치 뉴스가 주가지수에 끼친 영향 등 2️⃣ 개입변수의 형태개입은 일반적으로 두 가지 함수로 표현됩니다:형태의미예시펄스 함수 (Pulse)일시적 ..

계절형 ARIMA(SARIMA) 모형계절성이 뚜렷한 시계열 데이터를 분석할 때는 SARIMA (Seasonal ARIMA) 모형이 필요합니다. 계절형 ARIMA의 개념부터 모형 구성, 실제 예제까지 정리해 봅니다. 왜 계절형 ARIMA가 필요한가?일반적인 ARIMA는 비계절성 시계열에 적합하지만 월별, 분기별처럼 주기적 패턴(계절성)이 있다면?→ SARIMA(계절형 ARIMA) 모델로 접근해야 함1️⃣ 계절형 ARIMA의 구성SARIMA 모형은 다음과 같이 구성됩니다:ARIMA(p, d, q)(P, D, Q)s구성 요소의미p, d, q비계절성 ARIMA 모형의 차수P, D, Q계절성 ARIMA의 차수s계절 주기 (예: 월별이면 s=12)예: (0,1,1)(0,1,1)₁₂ → 비계절 MA(1), 계절 MA..

ARIMA 모형 적합 절차 시계열 데이터 분석의 꽃, ARIMA 모형을 적합하는 방법에 대해 정리했습니다. 실전 분석에서 반드시 거쳐야 할 4단계를 중심으로 설명합니다.1️⃣ Step 1: 시계열의 정상성 확인● 왜 정상성을 확인해야 할까?ARIMA는 본질적으로 정상 시계열을 다루는 모델이기 때문에, 정상성을 갖추지 않으면 정확한 추정과 예측이 어려움.● 판단 기준시계열 그림에서 추세나 계절성 보이는지 확인자기상관도(SACF)가 서서히 감소한다면 비정상 가능성분산이 일정하지 않거나 평균이 변하면 비정상● 해결 방법차분(differencing) : 추세 제거로그변환, 제곱근변환 등 : 분산 안정화2️⃣ Step 2: 모형 식별 (p, q 선택)● 무엇을 하는 단계인가?ARIMA의 AR 차수 p, MA 차수..

데이터 사이언티스트 vs 데이터 엔지니어, 무엇이 다를까?채용 공고 텍스트 분석으로 살펴본 기술 키워드 비교1. 왜 지금, DS와 DE의 차이를 알아야 할까?최근 몇 년간 데이터 기반 비즈니스가 급격히 확대되면서, 데이터 사이언티스트(Data Scientist, DS)와 데이터 엔지니어(Data Engineer, DE)는 기업의 핵심 직무로 떠올랐습니다.생성형 AI의 급부상, 클라우드 인프라의 대중화, 머신러닝 자동화 등 변화의 중심에서 이 두 직무는 IT 전략과 의사결정 모두에 관여합니다.하지만 여전히 많은 학생들과 구직자들은 DS와 DE의 차이를 명확히 구분하지 못하고 혼선을 겪고 있습니다.기술 학습 방향이 흐려지고, 결국 본인에게 맞지 않는 직무를 선택할 위험도 커지죠.그래서 이번 프로젝트에서는 실..

import re, string, pandas as pd, matplotlib.pyplot as pltfrom sklearn.feature_extraction.text import ENGLISH_STOP_WORDS, TfidfVectorizerfrom sklearn.feature_selection import chi2STOP = set(ENGLISH_STOP_WORDS) SKILLS = [ "python","r","sql","java","c++","scala","spark","hadoop","aws","gcp","azure", "tensorflow","pytorch","..

HuggingFace의 pre-trained 모형을 이용하여 챗봇과 번역을 활용하는 것이다.아래 스크립트에서는 한영 번역, 영어 문장 생성, 영한 번역을 차례로 수행하고자 한다. import torch# Load model for kor to eng translationfrom transformers import AutoTokenizer, AutoModelForSeq2SeqLMtokenizer_1 = AutoTokenizer.from_pretrained("DunnBC22/opus-mt-ko-en-Korean_Parallel_Corpora")model_1 = AutoModelForSeq2SeqLM.from_pretrained("DunnBC22/opus-mt-ko-en-Korean_Parallel_Corpo..