seungyeonworld 님의 블로그

[2강_off] Pandas

seungyeonworld — Sat, 29 Mar 2025 12:39:46 +0900

[1. Pandas]

1.pandas 소개

구조적 데이터의 표현과 처리에 적합함
다양한 포멧으로 저장된 데이터 접근 및 효율적인 분석/ 처리 가능
1. CSV, Excel, RDB 등 다양한 입력 형식 지원
2. 데이터 입력 및 출력 용이
3. 데이터 가공과 필터링, 그룹화
4. 통계 및 데이터 분석과 시각화 지원

pandas 설치 및 사용
- Colab에는 기본 설치되어 있음
- import pandas as pd
- 예시: pd.Series([1,3,5,12])

2.pandas 의 데이터 타입

시리즈(Series): 1차원 데이터 구조, 1차원 라인 그래프 형태로 데이터를 시각화 가능
데이터프레임(DataFrame): 2차원 데이터 구조, 표 형태로 나타
패널(Panel): 3차원 데이터 구조 (현재는 거의 사용되지 않음)
4차원 이상의 데이터: Panel4D, NA값을 포함한 데이터: PanelNDE 등 실험적으로 사용됨

[2. Pandas_Series]

1.pandas 의 Series 란?

1차원 데이터를 저장하기 위한 데이터 구조
마치 리스트나 배열처럼 동작하지만, 인덱스를 지정할 수 있다는 점이 특징
(리스트는 자동으로 0,1,2~의 인덱스가 지정되지만, Series는 원하는 값으로 인덱스를 지정가능-문자도 가능!)
(** 배열 : 같은 종류의 데이터를 순서대로 저장하는 데이터 구조
** 리스트 : 여러 자료형을 섞을수 있음)
시리즈는 pd.Series() 함수로 생성
각 요소에 인덱스를 부여하며, 인덱스는 기본적으로 0부터 시작하지만, 직접 지정도 가능

2. Series의 특징

데이터 타입 제한 없음
- 숫자, 문자열, NaN 등 다양한 데이터 타입을 혼합하여 담을 수 있음
- 내부적으로는 Numpy의 ndarray 형태로 저장됨
  (Series는 인덱스와 값이 있는 표처럼 생겼지만, 실제 데이터를 담고 있는 구조는 numpy의 배열(ndarray)임!)
- dtype을 통해 데이터 타입 확인 가능

3. 라인 레이블(인덱스) 지정 방법

인덱스는 정수형, 문자형 등 다양한 형태로 지정 가능하며 중복이 있어도 상관없음 (단, 혼동될 수 있으니 주의 필요)
라인 레이블은 1씩 증가할 필요가 없으며 단조 증가할 필요가 없다.
인덱스의 길이와 값의 개수가 일치하면 사용 가능

ex) pd.Series([1,2,3], index=['a','b','c'])
딕셔너리 타입 리터럴을 인자로 넘길 수 있음

4. 라인 레이블(인덱스) 값 접근

처음생성할때에는 0,1,2,3`` 처럼 인덱스가 자동으로 부여된다.

dat.index = [...] 로 인덱스를 한 번에 바꿔줄 수도 있다. (데이터는 그대로 유지하며, 레이블만변경)

loc[ ] : 레이블 인덱스에 의한 데이터 접근 (레이블이름으로 해당 레이블의 값을 반환)

iloc[ ] : 순서 인덱스를 이용한 접근 (정수위치 기반 접근방식)
>> 0부터 시작함
>> 중복된 레이블이 있는경우에도 문제없이 원하는 데이터에 접근이 가능

4. 계층형 인덱스 (값이 아니고 인덱스를 2개 이상으로!!!!)

인덱스를 다중단계로 설정하여 축에 대해 다중 (둘 이상) 색인단계를 지정할 수 있도록 해준다.
고차원 데이터를 저차원 형식으로 다룰 수 있게 해준다.
>> panel이나 panel4D와 같은 데이터 타입을 사용하지 않고 Series 혹은 DataFrame으로 고차원데이터 표현 가능
복잡한 데이터를 구조화해서 저장이 가능하며 패널데이터, 시계열, 그룹분석등에 매우 유용하다.

[3. Pandas_DataFrame]

1.pandas 의 DataFrame 이란?

2차원 데이터 구조로 Pandas에서 가장 많이 사용되는 데이터 타입
>> 로우 레이블(index)와 칼럼 테이블(columns)을 지정할 수 있음
Series가 1차원(열 하나짜리 표)이라면, DataFrame은 여러 Series가 모인 2차원 표인 것
스프레드시트(엑셀) 혹은 SQL 테이블과 유사한 모습
다양한 데이터 타입 저장가능
>> 딕셔너리 타입 : 리스트 / 튜플 / 시퀀스 타입 / 시리즈 / 딕셔너리를 값으로 갖는 것
>> 리스트 : 딕셔너리, 시리즈, 리스트, 튜플을 요소로 갖는 리스트
>> 데이터프레임 : 데이터프레임에 얕은 복사로 사본이 생성
>> NumPy의 2차원 ndarray : 데이터프레임은 2차원 이므로 2차원 배열을 데이터프레임으로 변환 가능
구조 :

2. 다양한 형식에서 DataFrame 생성하기

딕셔너리 → DataFrame
>> 버전에 따라 자동정렬로 인해 순서가 바뀔 수 있으므로 처음 생성 시 인자에서의 순서와 달라질수 있으므로 주의!

>> 칼럼순서를 명시하고 싶을경우 columns 인자를 사용하여
columns=["성별", "이름", "나이"]처럼 순서를 명시적으로 지정하면 사용가능!

>> 단, columns인자를 사용해 명시된 칼럼이 데이터프레임에 없을경우, NaN반환!

Numpy 2차원 배열 → DataFrame

DataFrame → Series : 데이터프레임의 한 칼럼을 시리즈로 변환
>> s1 = 데이터프레임객체.칼럼명 : 공백,한글,특수문자,파이썬예약어일 경우 사용불가
>> s2 = 데이터프레임객체['칼럼명'] : 한글, 공백, 특수문자 모두 ok

3. 칼럼 지정 방법

colums 인자를 사용해 생성시 지정하는 방법

.colums 속성을 사용하여 나중에 이름 바꾸는 방법 (초기에 미설정시 0부터 숫자로 자동설정된다.)

4. DataFrame의 계층형 인덱스

인덱스 또는 칼럼에 2단계 이상의 구조를 부여할 수 있는 기능
일반적인 인덱스 / 칼럼은 단일 이름이지만, 계층형 인덱스는 튜플 형태로 되어 있음
Series에서도 쓸 수 있지만, DataFrame에서는 행과 열 모두 계층형으로 만들 수 있음

계층형인덱스 접근방법

>> frame.loc[('a', 1)] : ('a', 1)이라는 인덱스에 해당하는 행 전체를 가져옴
>> frame['Ohio']['Green'] : "Ohio"라는 1단계 컬럼 전체를 가져온 후 "Green"이라는 칼럼 가지고옴

5. DataFrame의 사칙연산

Series와 DataFrame 객체끼리는 * + - / 등의 사칙연산이 가능
연산시 인덱스와 칼럼이름을 기준으로 정렬 후 연산
서로 크기가 달라도 연산이 가능하지만, 일치하지 않는 부분은 NaN (결측값) 반환

>> Series 간의 사칙연산

>> DataFrame 간의 사칙연산

[4. 데이터 선택하기]

1.기본정보 확인하는 함수

2. 인덱스를 이용한 행 선택 (iloc = 숫자기반, loc = 라벨기반)

정수 위치 기반 ".iloc[ ]"
>> df.iloc[0] : 첫번째 행
>> df.iloc[0:3] : 0~2번째 행 슬라이싱
레이블(이름)기반 ".loc[ ]"
>> df.loc["서울"] : "서울"이라는 행
>> df.loc[["행이름1":"행이름3"]] : 여러 행 선택

3. 열 선택 (iloc, loc은 행을 선택할때 쓰는거임! 열 선택할땐 쓰지 않는다.)

단일 열 선택 (Series변환)
>> df [ "열이름" ]
여러 열 선택 (DataFrame 변환)
>> df [ [ "열이름1" , "열이름2" ] ]

★df [ "열" ] 과 df [ ["열"] ]은 반환 타입이 다르다. (앞은 Series 반환, 뒤는 DataFrame 반환)

★ df.iloc[1, 3] : 두번째 행, 4번째 열을 가져오라는 의미 (0부터시작)

★df.iloc[[1, 3]]) : 1행과 3행 와 모든 열을 가져옴

★df.iloc[:, [1, 3]] : 모든행에서 1열과 3열만 가져옴

★단, 슬라이싱 문법은 리스트안에 넣으면 파이썬이 인식을 못함
=> ~~df.iloc[[1:3]], df.iloc[:,[1:3]] 불가~~

=> df.iloc [ 1:3, 0:2] 는 가능! (행 : 2~3행/ 열: 1~2열 // 0부터 시작)

=> df.iloc[:, 1:4]는 가능! (행:전)체 / 열 : 2열~4열 // 0부터 시작)

4. 행과 열을 동시에 선택

df.loc["서울", "여름"] # 서울 행의 여름 열 값
f.loc["서울", ["봄", "가을"]] # 서울 행의 일부 열
df.loc[["서울", "부산"], ["봄", "여름"]] # 여러 행, 여러 열 (반드시 리스트안에 담아주기 안그러면 튜플로 인식하여 에러!)

5. 조건 기반 선택

df[df["봄"] > 250]
>> 봄 열의 값이 250보다 큰 행만 추출
df[(df["여름"] > 300) & (df["겨울"] < 200)]
>> 여름열의 값이 300보다 크면서 겨울열의 값이 200보다 작은 행 추출
>> 여러 조건 조합도 가능 (&, |, 괄호 필수!)

=================================================================

[5. 데이터 통합하기]

1.두 개의 데이터를 하나로 통합하기

세로로 증가하는 방향으로 병합 (index 증가) "concat"
>> pd.concat ( [dataframe1, dataframe2])
가로로 증가하는 방향으로 병합 (columns 증가) : "join"
>> dataframe1.join(dataframe2)
공통된 열 (key)를 중심으로 좌우로 병합 : "merge"
>> dataframe1.merge(dataframe2)

2.세로 방향 병합

pd.concat ( [df1], [df2] ) : 각 데이터 프레임의 기존 인덱스 그대로 통합
pd.concat ( [df1], [df2] ,ignore_index = True) : 각 데이터 프레임의 기존 인덱스들은 무시되고 새로 0부터 인덱싱
concat은 열의 이름을 기준으로 자동으로 맞춰서 정렬하는데, 만약 concat한 객체중 없는 열이 있다면 해당 값은 자동으로 NaN으로 채워짐

3. 가로 방향 병합

dataframe1.join(dataframe2) : 인덱스 라벨을 이용하여, 같은 인덱스끼리 가로 방향으로 데이터 추가
>> 인덱스가 다르다면 NaN 반환
>> 인덱스 중심으로 합친다는 것을 꼭 기억하기
>> 내부적으로는 merge(left_index=True, right_index=True) 와 비슷 (merge함수는 같은 열값을 붙이는데, 이건 인덱스가 같은 행을 붙이라는 의미임!)

4. 데이터 통합

dataframe1.merge(dataframe2) : rhdxh
>> 공통된 열의 값을 기준으로 병합 ~~(공통된 인덱스 x)~~
>> 열의 값이 같은 행끼리 붙는 것을 의미
df1.merge(df2, how = merge_method, on = key_label)
>> on에는 키 열을 지정
>> how 선택인자

[1강] OMOP CDM

seungyeonworld — Mon, 17 Mar 2025 23:38:06 +0900

What is OMOP/OHDSI?

[1. OMOP란 무엇인가?]

1. OMOP(Observational Medical Outcomes Partnership)의 정의

OMOP(Observational Medical Outcomes Partnership)는 실세계(real-world) 의료 데이터를 활용하여 의약품 및 치료법의 안전성과 효과를 평가하는 연구 프레임워크
다양한 의료 데이터베이스를 통합하고 표준화하여, 관찰 연구를 통해 의료 제품의 안전성과 효과성을 분석하는 시스템

2. OMOP의 탄생 배경

의약품 안전성 문제: 신약이 시장에 출시된 후, 예상치 못한 부작용이 발견되는 사례가 많았음.
FDAAA(미국 식품의약국 개정법) 요구: 2007년 FDAAA(Food and Drug Administration Amendments Act)에 의해, FDA는 새로운 약물 감시 체계를 구축해야 했음.
Sentinel Initiative: FDA는 이러한 감시 시스템을 위해 Sentinel Initiative를 추진하였으며, OMOP는 그중 하나의 프로젝트로 시작됨.
관찰 연구의 중요성 증가: 임상시험 데이터만으로는 충분한 근거를 제공하기 어려운 경우가 많아, 실제 임상 환경에서 생성되는 데이터를 활용하는 연구 방식이 필요했음.
이질적인 데이터 문제 해결: 다양한 기관에서 수집된 의료 데이터를 표준화하고 분석할 수 있는 방법론이 필요했음.

3. OMOP의 주요 목표

관찰 연구의 신뢰성 향상:
- 다양한 데이터베이스에서 얻어진 결과가 일관적인지를 검증.
- 데이터의 이질성을 고려하여 신뢰도 높은 분석 방법을 개발.
의약품 안전성 평가:
- 기존의 부작용 보고 시스템과 비교하여, 실세계 데이터(real-world data) 기반의 새로운 감시 시스템을 구축.
표준화된 연구 프레임워크 개발:
- 다양한 의료 데이터베이스를 비교하고 분석할 수 있도록, OMOP Common Data Model (CDM)을 개발하여 표준화.

4. OMOP에서 OHDSI로의 발전

OMOP 프로젝트가 종료된 후, 연구자들은 이를 확장하여 OHDSI(Observational Health Data Sciences and Informatics) 프로그램을 출범.
OHDSI는 OMOP에서 개발된 Common Data Model (CDM)을 활용하여 더 광범위한 의료 연구를 수행하는 개방형 협력 네트워크로 발전함.
현재 OHDSI는 21개국 이상, 114개 이상의 의료 데이터베이스를 통해 다양한 질병 및 치료법 연구를 수행하고 있음.

5. OHDSI의 연구 초점 (Areas of Focus)

데이터 표준화(Data Standardization): 다양한 출처의 의료 데이터를 일관되게 변환하여 연구 활용 가능하게 함
(다양한 기관의 다양한 형태의 의료 데이터의 표준화)
의료 제품 안전 감시(Medical product safety surveillance): 의약품 및 의료기기의 안전성을 모니터링.
비교 효과 연구(Comparative effectiveness research): 서로 다른 치료법이나 개입의 효과를 비교하여 최적의 치료 전략을 찾음.
개인 맞춤형 위험 예측(Personalized risk prediction): 개별 환자의 건강 데이터를 기반으로 질병 위험을 예측.
데이터 특성화(Data characterization): 데이터의 특성과 품질을 분석하여 연구에 활용.
품질 향상(Quality improvement): 의료 서비스 및 치료의 질을 개선하기 위한 연구 진행.

6. 결론

OMOP는 FDA의 Sentinel Initiative에서 출발하여, 의약품 및 치료법의 안전성을 평가하기 위한 연구 프레임워크로 개발되었으며, 데이터 표준화 및 분석 방법 개선을 통해 의료 연구의 신뢰도를 높이는 데 기여
이후 OMOP는 OHDSI로 발전하여 국제적인 연구 네트워크로 확장되었고, 현재도 실세계 의료 데이터 분석의 핵심적인 역할을 수행

[2. CDM(Common Data Model)란?] -> 다양한 의료 데이터를 표준화된 구조로 변환하여 연구에 활용할 수 있도록 하는 프레임워크

1. CDM의 필요성

의료 데이터는 병원, 연구 기관, 국가별 보건 시스템 등에서 다양한 형식과 구조로 저장
이러한 이질적인 데이터는 직접 비교하거나 분석하기 어렵기 때문에, 공통된 형식으로 변환하는 과정이 필요
PPT에서는 다양한 형태의 전원 콘센트를 예시로 들어
>> 국가마다 전기 플러그가 다르듯이,
>> 의료 데이터도 다양한 형식으로 존재하여 직접적으로 호환되지 않음을 강조

2. CDM의 구조

(1) 기존 데이터 처리 방식의 문제점

연구마다 다른 분석 코드(SAS, R Script)를 작성해야 함 : 비효율적
확장성 부족 (Not Scalable) : 같은 분석을 수행하더라도, 병원마다 데이터 구조가 다르므로 매번 새로운 코드로 변환
비전문가가 사용하기 어려움 (Prohibitive to non-expert routine use)
비용이 많이 들고 (Expensive), 투명성이 부족 (Not Transparent)

(2) CDM 방식 (표준화된 데이터)

CDM을 적용하면,

각 기관에서 사용하는 의료 데이터를 CDM 형식으로 변환
변환된 데이터를 공통 분석 방법을 통해 연구 가능
연구자들은 "One Study – One Script" (하나의 연구, 하나의 코드) 원칙을 적용하여 데이터의 출처와 관계없이 동일한 방식으로 분석 가능

3. CDM의 작동 방식

병원, 연구 기관마다 다른 데이터 구조를 CDM으로 변환
- 병원 1, 병원 2, 연구소의 데이터가 모두 CDM 구조로 변환됨.
CDM을 기반으로 공통 분석 기법을 적용
- 동일한 분석 방법(Analytic Methods)을 사용하여 각 데이터에 일관된 연구 수행.
결과를 집계(Aggregated Results)하여 해석 가능
- 개별 데이터셋이 아니라 전체 네트워크에서 일관된 결과를 도출.

4. CDM의 활용 사례

약물 순응도(Adherence) 분석
사망률(Mortality) 연구
비즈니스 정보 분석(Source of Business)
약물 안전성 감시(Safety Signals)

->OHDSI에서 개발한 도구(OHDSI Tools)를 활용하여,CDM을 기반으로 위와 같은 연구를 수행

5. CDM의 장점

데이터 간 일관성 확보 : 국가, 병원, 기관에 상관없이 동일한 데이터 구조로 변환
재사용 가능 : 한 번 변환된 데이터는 다양한 연구에서 재사용 가능
비용 절감 및 효율성 향상 : 연구마다 새로운 데이터 변환 과정을 거치지 않아도 됨
다국적 협력 연구 가능 : 전 세계 연구자들이 동일한 데이터 모델을 사용하여 협업 가능

6. 결론

CDM(Common Data Model)은 다양한 의료 데이터를 표준화하여 연구 효율성을 높이고, 보다 신뢰성 있는 분석을 수행할 수 있도록 돕는 핵심 인프라
OHDSI는 이를 통해 국제적인 의료 데이터 연구를 지원하고 있으며, "One Study – One Script"의 개념을 통해 데이터 소스에 관계없이 동일한 분석을 수행할 수 있는 환경을 조성

[3. OMOP CDM V6 주요 내용 정리]

-> 의료 데이터를 표준화하여 연구자들이 여러 병원의 데이터를 일관된 방식으로 분석할 수 있도록 설계된 데이터 모델

1. Standardized Clinical Data (표준화된 임상 데이터)

환자(Person), 방문(Visit), 질병(Condition), 약물 사용(Drug Exposure) 등과 같은 핵심 의료 데이터를 포함.
병원이나 연구기관에서 수집되는 원본 의료 데이터를 CDM 형식으로 변환하여 저장.

2. Standardized Health System Data (표준화된 건강 시스템 데이터)

위치(Location), 의료 기관(Care Site), 의료 제공자(Provider) 정보 등을 포함.
병원 및 의료 서비스 제공자의 정보가 포함되며, 의료 시스템 내에서 데이터를 조직화하는 역할을 함.

3. Standardized Derived Elements (표준화된 파생 요소)

Condition era, Drug era와 같이 여러 개의 개별 기록을 묶어 하나의 의미 있는 시퀀스로 변환.
예를 들어, 같은 질병이 여러 번 진단되었을 경우 이를 하나의 "Condition era"로 묶어 분석 가능.

4. Standardized Health Economics (표준화된 건강 경제 데이터)

진료비용(Cost), 보험 정보(Payer plan period) 등 의료 비용 관련 데이터를 포함.
건강 경제 및 비용 분석 연구를 가능하게 함.

5. Standardized Metadata (표준화된 메타데이터)

CDM 데이터의 출처(CDM_source), 데이터에 대한 추가 정보(Metadata)를 관리.
연구자가 데이터의 출처와 구조를 쉽게 이해할 수 있도록 지원.

6. Standardized Vocabularies (표준화된 용어)

의료 개념(Concept), 도메인(Domain), 관계(Concept Relationship) 등을 관리하는 부분.
다양한 의료 기관 및 국가에서 사용하는 서로 다른 용어 체계를 표준화하여 동일한 의미로 변환.

7. Results Schema (결과 스키마)

연구 결과를 저장하는 구조로, 코호트(Cohort), 코호트 정의(Cohort definition) 등이 포함됨.
연구자가 특정한 환자 그룹을 정의하고, 해당 그룹에 대한 분석 결과를 체계적으로 관리할 수 있도록 함.

★ 3. Standardized Derived Elements (표준화된 파생 요소) 보충설명===================================

[4. OHDSI - Data to Evidence & Open Science]

-> 의료 데이터를 어떻게 활용하여 신뢰할 수 있는 근거(evidence)를 도출하는지
->개방형 과학(Open Science)과 FHIR(Health Data Interoperability) 가이드라인 설명

1. Data to Evidence (데이터에서 근거로)

- 의료 데이터를 수집하고 이를 분석하여 신뢰할 수 있는 근거를 도출하는 과정을 설명

- 다양한 유형의 관찰 데이터 : 의료 데이터는 다양한 방식으로 수집될 수 있으며, 그 특성에 따라 연구의 활용도가 달라짐

- 연구의 신뢰도를 높이기 위해서는 데이터의 출처와 특성을 이해하는 것이 중요함.

(1) 다양한 유형의 관찰 데이터

Populations (환자 그룹)
- 소아 vs 노인 (Pediatric vs. elderly)
- 사회경제적 격차 (Socioeconomic disparities)
Care setting (진료 환경)
- 입원 환자 vs 외래 환자 (Inpatient vs. outpatient)
- 1차 진료 vs 2차 진료 (Primary vs. secondary care)
Data capture process (데이터 수집 방법)
- 건강보험 청구 데이터 (Administrative claims)
- 전자의무기록 (Electronic health records)
- 임상 레지스트리 (Clinical registries)
Health system (건강보험 체계)
- 보험 가입자 vs 비가입자 (Insured vs. uninsured)
- 국가별 정책 (Country policies)

-> 이러한 개별 환자 수준의 데이터를연구 목적에 맞게 변환하여 신뢰할 수 있는 근거로 활용할 수 있음

(2) 의료데이터 활용 연구분야 (Types of evidence desired)

임상적 특성 연구 (Clinical Characterization)
- 임상시험 가능성 평가 (Clinical Trial Feasibility)
- 치료 이용 패턴 분석 (Treatment Utilization)
- 질병 자연 경과 연구 (Disease Natural History)
- 의료 서비스 품질 향상 연구 (Quality Improvement)
집단 수준 효과 분석 (Population-Level Effect Estimation)
- 의약품 안전성 감시 (Safety Surveillance)
- 비교 효과 연구 (Comparative Effectiveness)
환자 수준 예측 연구 (Patient-Level Prediction)
- 정밀 의학 (Precision Medicine)
- 질병 예방 및 조기 진단 (Disease Interception)

-> 이러한 데이터 분석 과정을 통해 연구자들은 의료서비스 개선과 치료법 평가에 도움을 주는 신뢰할 수 있는 근거를 생성

2. 의료 데이터의 개방성과 상호운용성(Open Science & Interoperability)의 중요성

- 의료데이터 연구가 효과적으로 이루어지기 위해서는 데이터 공유 및 협력이 필수적임

- OHDISI는 개방형 과학과 데이터 표준화를 적극적으로 활용해야함

(1) 개방형 과학의 원칙 : 연구자들은 데이터를 쉽게 공유하고 재사용 할 수 있으며, 연구결과의 신뢰성을 높일 수 있음

Open Standards (개방형 표준) : 데이터의 일관성을 유지할 수 있도록 표준화
Open Source (오픈 소스) : 연구 도구와 코드가 모두 공개되어 누구나 활용 가능
Open Data (오픈 데이터) : 연구 데이터를 공유하여 협업 연구 가능
Open Discourse (오픈 토론) : 연구자 간 활발한 논의와 협력을 장려

(2) FHIR 기반 의료 데이터 상호운용성(Interoperability)

* FHIR(Fast Healthcare Interoperability Resources) : 의료데이터가 서로 다른 기관이나 시스템에서도 동일한 방식으로 사용될 수 있도록 하는 국제표준 -> 전세계 의료연구자들이 동일한 형식의 데이터를 활용하여 연구협력을 강화

Findability (검색 가능성) : 데이터가 쉽게 검색되고 활용될 수 있도록 설계
Accessibility (접근 가능성) : 연구자가 데이터를 쉽게 접근할 수 있도록 개방된 환경 제공
Interoperability (상호운용성) : 기관 간 데이터 공유 및 협업 가능
Reusability (재사용성) : 한 번 정리된 데이터를 여러 연구에서 반복 활용 가능

★요약 : OHDSI는 의료 데이터를 효과적으로 활용하여 과학적 근거를 창출하고, 개방형 연구 문화를 확산시키며, 의료 데이터의 글로벌 협력을 강화하는 역할을 함

[5. OMOP Vocabulary ]

1. OMOP Vocabulary

OMOP CDM에서는 다양한 출처에서 수집된 의료 데이터를 일관된 분석이 가능하도록 표준화된 용어(Vocabulary)를 사용
다양한 기관에서 사용하는 서로 다른 의료 용어들을 통합하여 하나의 공통된 체계로 변환하는 역할
공공 및 민간 의료용어들을 통합하여 표준화된 개념을 제공
SNOMED, RxNorm, ICD, LOINC 등의 글로벌 의료 용어 체계를 기반으로 함
연구자가 동일한 개념을 사용할 수 있도록 매핑을 제공하여, 데이터의 일관성을 유지
(기관별로 다른 용어를 사용하더라도 OMOP Vocabulary를 이용해 동일한 의미의 개념으로 통일)

2. OMOP Vocabulary 의 주요 원칙

표준화된 구조 (Standardized structure): 여러기관에서 사용하는 의료 데이터를 OMOP CDM에 맞게 표준화된 형식으로 변환
고유한 표준 개념 (Unique Standard Concepts): 동일한 개념을 여러 용어 체계에서 다르게 표현하더라도, 이를 하나의 표준 개념(Standard Concept)으로 매핑
도메인 할당 (Domain Assignment): 모든 개념은 특정 도메인(예: 질병, 약물, 검사 등)에 할당됨
포괄적인 데이터 적용 (Comprehensive coverage): 환자의 전체 의료 경험을 포함하여 다양한 데이터 유형을 통합
계층적 구조 (Hierarchy & Relationships): 개념 간의 관계를 정의하여 유사 개념을 그룹화하고 분석을 용이하게 함

-> 연구자들이 일관된 방식으로 데이터를 분석하고 비교연구를 수행할 수 있음

[6. 개념(Concept)과 개념 테이블 구조 ]

1. 개념(Concept)이란?

OMOP CDM에서는 모든 의료 데이터가 개념(Concept)이라는 단위로 정의
각 개념은 Concept ID를 가지며, 표준화된 명칭과 코드를 포함
ex) 심방세동(Atrial Fibrillation)의 다양한 코드 체계

2. 개념(Concept) 테이블

CDM에서 개념을 저장하는 주요 테이블로, 모든 개념은 Concept Table에서 관리
이 테이블을 통해 질병, 약물, 검사, 의료절차 등의 데이터를 구조화하여 표준화된 방식으로 저장
연구자는 Concept Table을 활용하여 특정 질병, 약물, 검사등의 데이터를 표준코드에 맞춰 변환하고 분석할 수 있음
개념테이블의 주요 칼럼

3. 개념을 찾는 방법

1. Concept ID로 찾기

- SELECT * FROM concept WHERE concept_id = 313217;
- Concept ID가 313217인 데이터를 찾음
2. Concept Code로 찾기

- SELECT * FROM concept WHERE concept_code = '49436004';
- SNOMED에서 제공하는 49436004 코드가 있는 데이터를 찾음
3. Concept Name으로 찾기

- SELECT * FROM concept WHERE concept_name = 'Atrial fibrillation';
- Atrial fibrillation 이라는 개념을 포함하는 데이터를 찾음
4. 다른 코드 체계에서 매핑된 개념 찾기

- SELECT * FROM concept_relationship WHERE concept_id_1 = 44821957;
- ICD-9코드 44821957이 다른 코드체계와 어떻게 연결되어 있는지 확인

4. 요약

OMOP CDM에서는 의료 데이터를 표준화하기 위해 "개념(Concept)"이라는 체계를 사용
OMOP Vocabulary는 다양한 용어 체계를 통합하여 연구자가 일관된 방식으로 데이터를 분석할 수 있도록 지원
연구자는 Concept Table을 활용하여 원하는 개념을 찾고, 표준 개념을 기반으로 데이터를 정리하여 분석 가능
SQL 쿼리를 활용하여 특정 개념을 검색하고, 표준 개념과 매핑된 정보를 활용할 수 있음

[2강_on] Linear Regression(선형회귀)

seungyeonworld — Fri, 14 Mar 2025 00:03:08 +0900

[1. Linear Regression (선형 회귀) ]

1.선형회귀

입력 변수(예 : 집 크기)를 이용해 출력 변수(예 : 집가격)를 예측하는 방법
가장 단순한 형태의 머신러닝 알고리즘
예측 모델이 직선( Linear Function)의 형태를 따름

2. 선형회귀 기본공식

y = w ₁ x + w ₀
> y : 예측값 (집가격)
> x : 입력값 (집크기)
> w ₁ : 기울기 ( x가 1씩 증가할 때 y가 얼마나 변하는지를 의미)
> w ₀ : 절편 (x가 0일때 y의 값)
선형 회귀의 목표는 입력변수x와 출력변수y 사이의 관계를 직선 방정식으로 나타내는 것임

3. 도식화

테스트데이터로 알고리즘을 훈련시킨 모델 f
입력변수 x를 f에 넣어 y를 예측 ( ŷ : ^햇지는 추정치에 해당하는 변수나 값에 붙이는 기호임)

[2. Terminology (용어 정리) ]

1. 입력변수 x : 모델이 예측을 수행하기 위해 입력으로 받는 데이터 속성 (모델이 학습하는데 사용하는 변수)

독립변수
설명변수
input feature (입력 특성)

2. 출력변수 y : 머신러닝 모델에서 예측하려는 정답

종속변수
반응변수
target variable (타겟변수)

3. Training set (훈련 데이터셋)

모델을 학습시키기 위해 사용하는 데이터
학습자료 내 집 크기 & 집 가격 데이터가 훈련 데이터임

4. 그밖의 용어들

n : 행단위로 쪼개진 훈련데이터에 있는 샘플의 개수
: i번째 데이터 샘플 (독립변수, 종속변수의 쌍)

[ 3. Simple Linear Regression (단순 선형 회귀) ]

1. 수식 : y = w₁x + w₀

입력변수 x가 하나만 있을 때 사용
기울기 w₁ : x가 증가할 때 y가 얼마나 증가하는지 결정
절편 w₀ : x가 0일때 y의 값
데이터를 가장 잘 설명하는 직선(회귀선 ,Regression Line)을 찾는 과정
(실제 값과 예측 값의 차이(오차)가 가장 작은 직선)
> 방법1. 손실함수 를 최소화
> 방법2. 기울기와 절편을 최적화하는 경사 하강법 사용

2. Determining Parameters (파라미터 결정하기)

선형회귀에서 파라미터는 기울기와 절편임
어떤값을 넣어야 모델을 제일 잘 설명할 수 있을까? -> 얼마나 좋은지 수치화 한것이 cost function임!
비용함수(cost function)을 최소화 하는 방향으로 파라미터를 조정하면서 점점 더 좋은 예측을 하도록 만듦
가장 많이 쓰이는 방법은 최소 제곱법 (Least Squares Estimation, LSE) 임

[ 4. Cost Function (비용 함수) ]

1.. Cost Function (비용 함수)란?

모델이 얼마나 잘못 예측했는지 측정하는 함수 (적을수록 좋은것)
모델이 데이터를 더 잘 예측하도록 오차를 최소화하는 것
평균제곱오차(MSE)를 제일 많이 사용

2. 평균 제곱 오차(MSE, Mean Squared Error)

가장많이 쓰이는 비용함수
오차를 제곱하여 평균을 낸 값이 비용함수가 된다.
평균오차를 최소화 하는 방법은 최소제곱법(OLS)을 사용

3. Least Squares Estimation (LSE, 최소제곱법)

평균 제곱오차를 최소화 하는 w₁과 w₀을 찾는 방법
오차제곱의 합을 최소화하여 최적의 회귀선(직선)을 찾는 방법
평균제곱오차 라는 비용함수를 최소화 하면 최소제곱법 방법과 동일한 결과를 얻게된다.
미분값이 0이되는 포인트가 최소값을 가짐

4. 최대우도추정(MLE, Maximum Likelihood Estimation)

주어진 데이터가 가장 잘 설명될 수 있도록 확률을 최대화 하는 방법
주어진 데이터를 가장 잘 설명하는 모델의 파라미터(기울기, 절편)를 찾는 방법
최대우도추정은 확률기반 접근법, 최소제곱법은 거리기반 접근법
데이터에 있는 오차(e)를 정규분포로 가정하고, 우도(Likelihood) 함수를 최대로 만드는 w₁과 w₀(파라미터)를 찾음
- 우도함수 : 모델의 파라미터가 주어진 데이터를 얼마나 잘 설명하는지 나타내는 함수임
- 로그우도함수 : 확률값을 곱하는 방식으로 계산되어 매우복잡한 우도함수 대신 사용
  > 1. 곱셈을 덧셈으로 변환 : 계산이 쉬워짐
  > 2. 확률값이 너무 작아지는 문제 방지
  > 3. 로그를 씌우면 값자체는 변하나 크기의 순서는 변하지 않음
MLE의 3가지 가정
1. 선형성 : 입력변수와 출력변수와의 관계는 선형적이다.
2. 정규성 : 오차의 분포는 평균이 0인 정규분포를 따른다
3. 분산성 : 오차의 분산이 입력변수와무관하게 일정하다

5. Multiple Linear Regression (다중 선형 회귀)

입력변수가 여러개일때 사용하는 회귀모델
예 : 집 가격예측시 집크기 & 방개수 & 위치 등을 고려

6. Polynomial Regression (다항 회귀)

데이터를 단순한 직선이 아니라 곡선(Curve) 으로 학습하는 방법.
입력 변수를 다항식 형태로 변환.

[1강_off] Python Packages

seungyeonworld — Fri, 14 Mar 2025 00:01:55 +0900

1. Pandas

주요 역할:

데이터 조작 및 분석
구조화된 데이터를 쉽게 다룰 수 있도록 도와줌

핵심 기능:

DataFrame, Series 구조 제공 (엑셀과 유사한 데이터 구조)
데이터 정리, 필터링, 그룹화, 결합 등 가능
결측치 처리 및 데이터 변환

2. NumPy (Numeric Python)

주요 역할:

수학적 연산 및 배열(array) 연산 수행
머신러닝에서 수치 연산을 빠르게 처리하는데 필수

핵심 기능:

다차원 배열 (ndarray) 제공
행렬 연산, 선형대수, 난수 생성 등 다양한 수학 연산 지원

3. Scikit-Learn

주요 역할:

머신러닝 모델 구현 및 분석을 위한 필수 라이브러리
간단하면서도 강력한 데이터 분석 및 모델링 도구 제공

핵심 기능:

지도 학습(Supervised Learning): 회귀(Regression), 분류(Classification)
비지도 학습(Unsupervised Learning): 클러스터링(Clustering), PCA(차원 축소)
데이터 전처리(Preprocessing): 스케일링, 결측치 처리
모델 평가(Evaluation): 교차 검증, 성능 평가 지표 제공

4. Matplotlib

주요 역할:

데이터 시각화 및 그래프 생성
정적(static), 애니메이션(animated), 인터랙티브(interactive) 그래프 지원

핵심 기능:

선 그래프, 바 차트, 히스토그램, 산점도 등 다양한 그래프 제공
데이터 시각화를 통한 인사이트 도출

5. PyTorch

주요 역할:

딥러닝 모델을 쉽게 만들고 훈련할 수 있도록 돕는 라이브러리
연구 목적 및 실제 배포를 위한 동적 연산 그래프(dynamic computation graph) 제공

핵심 기능:

딥러닝 모델 구현 (CNN, RNN, Transformer 등)
GPU 가속을 통한 빠른 연산
자동 미분(Autograd) 기능 제공

정리

라이브러리주요 기능

Pandas	데이터 조작 및 분석 (DataFrame 제공)
NumPy	수치 연산 및 배열 연산 (ndarray 제공)
Scikit-Learn	머신러닝 모델 구축 및 평가
Matplotlib	데이터 시각화
PyTorch	딥러닝 모델 구축 및 GPU 가속

[1강_on] 머신러닝 개요 (Machine Learning Overview)

seungyeonworld — Thu, 13 Mar 2025 23:56:49 +0900

[ 머신러닝 개요 (Machine Learning Overview) ]

1.머신러닝이란?

데이터를 기반으로 컴퓨터가 스스로 학습하여 의사결정을 내리는 기술
인간과 유사하게 기억(Remember) → 공식화(Formulate) → 예측(Predict)의 단계를 거친다.

[ 머신러닝의 주요 개념]

1. 지도학습(Supervised Learning)

입력데이터(input)와 정답(label)이 주어진 상태에서 학습
- 회귀(Regression): 연속적인 값을 예측 (예: 주택 가격 예측) -> 연속성
- 분류(Classification): 카테고리를 예측 (예: 암 양성/음성 판별)

2. 비지도 학습(Unsupervised Learning)

입력데이터에 정답(label)이 없는 상태에서 데이터의 구조/패턴을 찾아 학습
- 클러스터링(Clustering): 데이터 그룹화 (예: 뉴스 기사 분류)
- 연관 분석(Association): 특정 아이템과 자주 함께 구매되는 상품 찾기 (예: 장바구니 분석)
- 이상 탐지(Anomaly Detection): 정상적인 패턴에서 벗어난 데이터 탐지 (예: 금융 사기 탐지)
- 차원 축소(Dimensionality Reduction): 데이터의 특징을 유지하면서 차원을 줄이기 (예: PCA)

3. 강화 학습(Reinforcement Learning)

환경과의 상호작용을 통해 보상을 최적화하도록 학습.
예제: 알파고(AlphaGo), 게임 AI, 로봇 제어, 자율주행

☆차원축소 보충설명

1. 차원축소란?

데이터의 차원 = 특성(feature)의 수 (ex. 키,몸무게 = 2차원 / 키,몸무게,나이 = 3차원)
현실에서 다루는 데이터는 수십~ 수천개의 특성을 가진 고차원 데이터인 경우가 많음
고차원데이터는 시각화가 어려우며 계산비용이 많이들고 모델성능을 저하시킬 수 있음
따라서 꼭 필요한정보를 뽑아서 더 적은수의 특성(차원)으로 표현하는 것이 차원축소

2. 차원축소가 왜 비지도학습 머신러닝인가?

차원축소는 무엇을 예측하는 것(정답이 있는것) 이 아님!
데이터의 구조나 분포를 파악하고, 비슷한 특성끼리 요약해서 더 적은 수의 축으로 표현하는 것임
예를들어 PCA같은 경우는 전체 데이터를 보고 가장 분산이 큰 방향(정보량이 많은 방향)을 찾아서 데이터를 재구성하기때문에 여기서는 라벨이 전혀 필요 없음

따라서 차원 축소는 라벨없이 데이터를 요약하고 패턴을 찾는 과정이기 때문에 비지도학습에 속함!

3. 차원축소의 예시

① t-SNE (t-Distributed Stochastic Neighbor Embedding)

비선형 차원 축소 기법
고차원 데이터를 2D 또는 3D로 줄여서 시각화에 많이 사용
비슷한 데이터끼리 가까이, 다른 데이터는 멀리 배치함
단점: 계산 느림, 새로운 데이터에 바로 적용 불가
(ex) 손글씨 숫자(MNIST) 이미지 784차원 → 2D로 줄여서 시각화

② UMAP (Uniform Manifold Approximation and Projection)

t-SNE의 대안으로 더 빠르고, 구조 보존이 잘 됨
군집 간 거리 정보도 어느 정도 유지
고차원 생물학 데이터나 자연어 벡터 시각화에 많이 쓰임
(ex)유전자 발현 데이터 시각화 (RNA-seq 데이터 분석)

③ Autoencoder (오토인코더)

인공신경망 기반 차원 축소
입력을 압축(인코딩)했다가 다시 복원(디코딩)하도록 학습
중간에 있는 **은닉층(hidden layer)**이 바로 축소된 표현
이미지, 음성, 자연어 등 복잡한 비선형 데이터에 강함
(ex) 잡음이 섞인 이미지를 입력 → 깨끗한 이미지 복원 (노이즈 제거)

[ 머신러닝의 문제해결 과정]

데이터 수집(Data Collection): 학습에 사용할 데이터를 수집.
데이터 전처리(Data Preprocessing): 결측치 처리, 정규화 등 데이터 정리.
특징 선택(Feature Selection): 중요한 변수를 선택하여 학습 효율 증가.
모델 학습(Model Training): 알고리즘을 이용해 데이터에서 패턴 학습.
모델 평가(Model Evaluation): 새로운 데이터에 대한 예측 성능 평가.
모델 튜닝(Model Tuning): 하이퍼파라미터 최적화, 성능 개선.
배포(Deployment): 학습된 모델을 실제 서비스에 적용.

[ 머신러닝퀴즈]

다음 문제를 보고 지도 학습(회귀/분류)인지, 비지도 학습인지 판단해보세요.

창고에서 다음 3개월 동안 몇 개의 제품이 판매될지 예측 ➝ 회귀(Regression)
온라인 쇼핑몰의 계정 중 해킹된 계정을 탐지 ➝ 분류(Classification)
내일의 구글 주가를 예측 ➝ 회귀(Regression)
날씨 예측: 맑음, 흐림, 눈, 비 중 하나를 예측 ➝ 분류(Classification)
뉴스 기사를 주제별로 자동 분류 ➝ 비지도 학습 (클러스터링)
과거 스팸 메일 데이터를 이용하여 새로운 메일이 스팸인지 판별 ➝ 지도 학습 (분류)
심장병 환자의 데이터를 분석하여 독특한 환자 그룹을 찾기 ➝ 비지도 학습 (클러스터링)
(심장병 있는지 여부가 레이블로 주어진다면 분류이지만, 환자데이터를 보고 비슷한 특징을 가진 그룹을 자동으로 찾아내는것은 클러스터링이다. 심장병여부를 맞추는것이 아니라 기존에 알려지지 않은 환자 그룹을 발견하는 것이 목표)

** 지도학습의 분류는 개냐 고양이냐 / 심장병이 있냐 없냐의 "정답" 이 있으나, 비지도학습의 클러스터링은 정답이 없음!

[1강_on] Basic Grammar in R

seungyeonworld — Tue, 11 Mar 2025 23:53:35 +0900

Section.1) Basic Grammar in R

[기본내용]

1.프롬프트(prompt) 개념

> : 명령어를 입력할 수 있는 자리 (R 콘솔에서 기본 입력 프롬프트)
+ : 명령문이 한줄에서 완전히 끝나지 않고 다음줄로 이어질 경우 표시됨
입력중이던 명령문에서 빠져나오려면 Esc 키를 사용

2. 명령어 입력 규칙

일반적으로 한 줄에 하나의 명령문을 입력
한줄에 여러개의 명령을 입력하려면 ;(세미콜론) 으로 구분
한줄이 넘어가면 + 프롬프트가 표시되며 계속 입력해야 함

3. 주석(comment)

# 이후의 내용은 주석 처리되어 실행되지 않음
R에서는 파이썬처럼 여러 줄을 감싸는 블록주석기능이 없음(''' ''', """ """)
(단,여러줄 선택후 Ctrl + Shift + C 사용시 선택된 줄 마다 # 이 자동추가)

4. 대소문자 구분

R에서는 대소문자를 구분함 (A와 a는 다른 변수로 인식)

5. 콘솔 정리 (화면클리어)

Ctrl + L을 눌러 콘솔 화면을 정리
콘솔화면만 깨끗하게 정리 될 뿐 히스토리 영역등에는 영향이 없다

6. 이전 명령어 탐색

상,하 화살표(↑, ↓)를 사용하여 이전에 실행한 명령어를 탐색 할 수 있음

[R의 실행]

1. R에서 명령문 실행 방식

Console에서 직접 실행
→ R 콘솔에서 명령어를 입력하면 즉시 실행됨
R-script에서 작성 후 실행
→ R 스크립트(.R파일)에 코드를 작성한 후 실행하여 콘솔에 전달됨
→ 실행할 문구에 커서를 두고 Ctrl + Enter 를 누르면 콘솔에서 실행됨
→ 실행아이콘 (플레이 버튼 모양)을 클릭해도 실행가능

2. 단축키를 활용한 실행방법

한 줄 실행 : Ctrl + Enter
여러 줄 실행 :블록을 드래그 한 후 Ctrl + Enter
편집된 모든 명령문 실행 : Ctrl + Alt + R
바로 직전에 실행한 명령문을 다시 실행 : Ctrl + ↑ / Ctrl + Shift + P

[함수와 인수]

1. Function (함수) 개념

함수는 입력(input)을 받아 특정 연산을 수행한 후 출력(output)을 반환하는 개념으로, 수학의 함수와 동일함
R에서 함수를 사용하는 기본 형태 : function( argument1, argument2 ```)
maen() : 평균을 구하는 함수
sum() : 합을 구하는 함수
c() : 여러 값을 묶어주는 함수

2. Arguments of Function (함수의 인수, 매개변수)

함수는 특정한 입력값 (Arguments)를 받아 원하는 결과를 생성
Arguments의 개념
→ 함수에 전달하는 값
→ arguments_name = arguments_value 형태로 값을 전달
→ 기본값이 설정된 경우는 생략가능 (기본값이 없는경우 필요한 값은 명확히 입력해야함)
→ help(함수명)을 활용하여 함수의 사용법과 arguments를 확인할 수 있으며, 함수를 올바르게 사용하기위해 해당 삼수가 어떤 argument를 요구하는지 알아야 함

[Help 함수]

1. R에서 함수 도움말(Help) 확인하는 방법

help(함수명) 또는 ?함수명 을 사용하여 도움말 호출
help.start()를 실행하면 HTML형식의 도움말 창을 띄울 수 있음
help.search("키워드") 또는 ??키워드 를 이용하여 관련 함수 목록 검색가능 (키워드가 포함된 함수목록을 보여줌)
RStudio 에서는 파일 창의 "Help" 에서 직접 함수명을 검색하여 관련 정보를 확인 가능

2. R도움말의 구조

함수 이름과 패키지 정보 (어떤 패키지에 속해 있는지)
간략한 설명 (함수가 무엇을 하는지 요약)
Description(설명) (함수의 기능과 역할에 대한 자세한 설명)
Usage(사용법) (함수를 호출하는 방법 및 입력값)
Arguments(인수 설명) (함수에 전달할 수 있는 매개변수와 그 역할)
Value(출력값 설명) (함수가 반환하는 값)
Examples(예제 코드) (사용 예시를 통해 함수의 활용 방법을 보여줌)
Details(상세 설명) (추가적인 정보 제공)

[R 패키지]

1. 패키지 (Packages) 란 ?

R에서는 데이터 분석을 위해 다양한 함수를 제공하는 패키지가 존재함
패키지는 특정 기능을 수행하는 함수와 데이터를 모아둔 모음집(라이브러리)임
(라이브러리 : 컴퓨터에 패키지들이 저장되는 곳).
특정 기능을 사용하려면 해당 패키지를 사전에 설치하고 불러와야 함

2. 패키지 설치 & 불러오기 - 콘솔에서 직접입력

패키지 설치 (한 번만 실행하면 됨)
→ install.packages("ggplot2")
패키지 불러오기 (사용할 때마다 실행 필요)
→ library(ggplot2 : 패키지를 로딩해서 사용 가능하게 함
→ require(ggplot2) : library()와 동일, 패키지가 없으면 False반환

3. 패키지 설치 & 불러오기 - R Studio Packages탭 이용

패키지 설치
→ "Packages" 창에서 "Install" 버튼 클릭
→ 패키지 이름 입력수 "Install" 버튼 클릭
불러오기
→ "Packages" 목록에서 설치된 패키지를 찾아 체크박스를 클릭하면 자동으로 로딩됨

[R 저장 및 종료]

1. R Script 저장 방법

메뉴에서 [File] → [Save] 또는 [Save As] 선택
파일 이름은 일반적으로 Lecture_01.R 같은 .R 확장자로 저장
UTF-8 인코딩으로 설정하여 저장하는 것이 권장됨

2. R Console 저장 방법

메뉴에서 **[File] → [Quit Session]**을 선택하면 종료 가능
콘솔에서 생성된 모든 객체(변수, 데이터 등)를 그대로 저장 가능
저장 형식: .RData 파일로 저장됨
작업 중간에 작업 공간을 저장하고 싶은 경우
> save.image() # 현재까지 작업한 내용이 'RData' 파일에 저장

[ Working Directory (작업 디렉터리 설정 및 확인) ]

1. 작업폴더 확인하기

getwd() : R에서 지정한 작업폴더 경로

2. 작업폴더 변경하기

setwd( "F:/Class/Rstudio") : 새로운 작업 폴더 지정
(단, 해당 폴더가 미리 생성되어 있어야함)
setwd("..") : 한단계 상위 폴더로 이동

3. 작업폴더에 생성된 객체, 함수들의 리스트 확인

is() : objects()와 동일하며, 환경 내 객체를 출력함

[Calculator (연산) ]

[Object (객체)]

1. 객체란?

R에서 생성하고 조작할 수 있는 모든 것이 객체임
ex : 숫자, 문자, 배열, 함수, 데이터 구조 등
실제 분석에서 객체는 변수 혹은 데이터 자체라고 생각하면 된다.

2. 객체생성방법

'<-' : 값을 할당하는 연산자
> x <-10 : x 에 10을 저장
> 단축키 : Alt + -(백기호)
> =(등호) 도 사용할 수 있지만 권장되지는 않음
'is()' : 객체목록 확인
> 현재 콘솔 창에서 생성된 객체들의 목록 출력
rm(x) : 객체삭제
> x라는 객체 삭제

3. 객체 이름 규칙

객체 이름은 영문자(a-z, A-Z), 숫자(0-9), 마침표(.), 밑줄(_) 조합 가능.
대소문자를 구분함 (X와 x는 다른 객체).
자리수에 제한은 없으나 이름에 설명력이 있는것이좋음
소문자단어는 '_'로 구분하는것 추천 (ex. smoke_ever)
제한 사항:
- 첫 글자로 숫자 또는 _ 사용 불가.
- 첫 글자가 .일 경우, 두 번째 글자에 숫자가 오면 안 됨.
- if, for 같은 R의 예약어(키워드)는 객체 이름으로 사용 불가.

Section.2) Type of Value

[값의 종류]

1. 실수형 : numeric

소수점 형태로 이루어짐
R은 모든 숫자형 데이터를 실수형으로 받아들임
소수점 표현
> floor : 버림
> ceiling : 올림
> round : 반올림 / round(숫자,digits) : 소수점 difits자리로 반올림

2. 정수형 : integer

정수로 인식하길 원할경우 임의로 설정해야만 정수로 인식 (기본 : 실수형)

소수점표현 : floor(버림), ceiling(올림), round(버림)

3. 문자형 : character

문자 형태의 변수를 입력할 때, 큰따옴표나 작은따옴표로 묶어서 쓰며 둘의 차이는 없음
숫자를 "1"로 쓴경우 실수형이 아닌 문자형으로 인식함
숫자형과 문자형이 혼합되어 있는경우 모두 문자형으로인식
LETTERS와 letters는 이미 내장되어 있는 객체 (각각 알파벳 대문자, 소문자 출력

4. 논리형

조건에 따른 결과에 대하여 참(True) 또는 거짓(False)의 논리적인 대답을 출력
T/F로 줄여쓰기가 가능하긴하나 풀네임사용을 권장함
True = 1, False = 0으로 취급

** 11 나누기 5가 2 이거나 4 나누기 2는 2인가 ?

정답 ) (11 / 5) == 2 | (4/2) == 2 ; True

~~오답 ) ((11/5==2)|(4/2==2))==2; False~~

4. 결측값(NA) : 대문자임! is.na()함수는 소문자임!

데이터가 수집 및 저장 과정에서 누락될 때 발생.
R에서는 NA로 표시됨.
NA가 포함된 연산의 결과도 NA.
is.na(x): x의 각 요소가 NA인지 확인하는 함수.(NA인경우 True, NA가 아닌경우 False반환)

5. NaN

수학적으로 정의되지 않은 연산(예: 0/0, Inf - Inf)에서 발생.
NA와는 다르게, 수학적 오류로 인해 생성됨

6. 값의 변환

숫자로 입력된 문자형데이터 ("1")는 숫자형으로 변환가능
(as.numeric()함수사용)
문자로 입력된 문자형데이터("aaa")는 숫자형으로 변환 불가능
(as.numeric()함수 사용시 숫자데이터부분은 숫자로 변환되지만 문자입력부분은 NA 가 출력)
숫자형 1,0은 논리형 True와 False로 변환가능
(as.logical() 함수 사용)
문자형 T,F는 논리형 True와 False로 변환가능
(소문자 t,f 불가, NA 출력된다! R은 대소문자를 구분한다는 것을 기억하기)
실수형 > 정수형으로 바꿀경우 아애 버림이 되어버린다!

Section.3) Type of Object

[Dataset & Data structure]

1. Dataset

관찰대상으로부터 관심있는 속성들을 측정한 자료들의 모임
행 : 관찰대상(객체)
열 : 속성, 변수 (측정자료)

2. Data structure

프로그래에서 다양한 타입의 데이터를 변수에 저장하는 것이 필요
R의 기본데이터 타입(base object)은 vector
(vector / list / matrix / array / factor / data frame

[R의 Vector]

1. Vector의 개념

R에서 가장 기본적인 자료 저장 방식
동일한 유형(숫자, 문자, 논리값)의 데이터를 저장하는 1차원 구조
문자(character)>실수(numeric) > 정수(integer)>논리(logical) 순으로 데이터 변환 발생
(동일한 유형의 데이터를 저장하는 1차원 구조이기 때문)
리스트와 다르게 서로 다른 자료형을 포함할 수 없음
인덱스 : 1부터 시작하는 정수로 출력물의 각 첫 줄에 대괄호 []로 둘러싼 숫자

2. Vector의 종류

atomic vector: 우리가 일반적으로 생각하는 vector
- 원소가 동질적(자료형이 같은) 백터
- 1차원 구조
- v1 <- c(1, 2, 3) # numeric형 atomic vector
- v2 <- c("a", "b", "c") # character형 atomic vector
- v3 <- c(TRUE, FALSE, TRUE) # logical형 atomic vector
- 모두 is.atomic() 하면 TRUE 출력
list :
- 원소가 이질적 (자료형이 같지 않아도 됨)
- 다차원 구조

3. Vector의 인덱싱

백터의 원소는 인덱스를 통해 접근가능 (1부터 시작)
특정 원소를 조회,삭제, 수정이 가능
백터의 길이를 벗어나는 인덱스를 호출하면 na 반환

4. Vector의 합수

c() : 여러 개의 원소를 연결하여 벡터 생성
ex) x <- c(1, 2, 3, 4, 5)
백터 생성연산자 : ":" (colon)
- 시작값 : 종료값 형태로 사용
- 1 : 5 > 1 2 3 4 5
- 5 : 1 > 5 4 3 2 1
seq() : 일정한 간격을 가지는백터 생성
ex) seq(from, to, by,leng.out) : form부터 to까지 by씩증가하는 백터 (by는 생략가능)
rep() : 백터를 반복생성하는 함수
ex) rep(vlaue, time) : value 를 time 만큼 반복 (기본)
rep(1:3, time s=2) : 1,2,3,1,2,3
rep(1:3, 2) : 1,2,3,1,2,3 //times가 기본 argument이기때문에 생략가능함
ex) rep(vlaue, each=2) : 각 value를 each번 반복해서 출력 (반드시 each를 명시해줘야함)
rep(1:3, each=2) : 1,1,2,2,3,3
length() : Vector의 길이를 구하는 함수

** assign (변수, 값) : 변수에 값을 할당하는 함수

** paste( 값, 붙일숫자,sep ="붙일 기호") : 값 붙일숫자1 붙일기호 값 붙일숫자2 붙일기호 반환
(붙일기호 없을경우 공백)

** names() : 값들에 의미를 부여하는 함수 (이름이 부여된 함수는 그뒤로 출력시 이름과 함께 출력)

** length() : vector의 원소 개수 반환

연습문

> v0 <- LETTERS[1:10]
> v0
 [1] "A" "B" "C" "D" "E" "F" "G" "H" "I" "J"

> class(v0)
[1] "character"

> v1 <- (1:100)
> v1
  [1]   1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  17  18
 [19]  19  20  21  22  23  24  25  26  27  28  29  30  31  32  33  34  35  36
 [37]  37  38  39  40  41  42  43  44  45  46  47  48  49  50  51  52  53  54
 [55]  55  56  57  58  59  60  61  62  63  64  65  66  67  68  69  70  71  72
 [73]  73  74  75  76  77  78  79  80  81  82  83  84  85  86  87  88  89  90
 [91]  91  92  93  94  95  96  97  98  99 100

> seq(-5,5,0.5)
 [1] -5.0 -4.5 -4.0 -3.5 -3.0 -2.5 -2.0 -1.5 -1.0 -0.5  0.0  0.5  1.0  1.5  2.0
[16]  2.5  3.0  3.5  4.0  4.5  5.0

> rep(1:10,each=2)
 [1]  1  1  2  2  3  3  4  4  5  5  6  6  7  7  8  8  9  9 10 10

[유니와이즈]17강. 음이항분포와 기하분포

seungyeonworld — Tue, 18 Feb 2025 21:02:46 +0900

5.5 음이항분포와 기하분포

- 베르누이과정 : 베르누이시행 (성공 또는 실패 2개의 결과를 가진 시행)을 고정된 수를 반복하여 성공횟수를 셈

- 이항분포 : n번의 실행 중 x번 성공할 확률

- 음이항실험 : 베르누이 실행을 고정된 성공횟수가 나올 때까지 실행횟수를 셈

- 음이항확률변수 : k번째 성공이 일어날 때까지의 시행횟수

- 음이항분포 : 음이항확률변수의 분포, b*(x ; k, p)로 나타냄

** 음이항분포

- 독립적인 반복시행에서 성공확률이 p, 실패확률이 q라 하면, k번째 성공이 일어날때까지의 시행횟수인 확률변수 X의 확률분포는

아래와 같이 나타난다.

- b*(x ; k, p) : x-1번째 시행까지 k-1번의 성공과 x-k번의 실패가 일어난 후 x 번째 시행에서 k번째의 성공이 일어날 확률

(단, 각시행은 독립적임)

** 음이항분포의 기대값과 분산

** 기하분포

- 기하분포 : 독립적인 반복시행에서 성공확률이 p, 실패확률이 q = 1-p 라 할 때, 첫 번째 성공이 일어날 때까지의 시행횟수인

확률변수 X의 확률분포는 아래와 같이 주어진다.

- k(성공확률) = 1 인 음이항분포 (x번째시행에서 첫 번째 성공이 나타날 확률)

- g (x ; p) 로 표시

** 기하분포의 기대값과 분산

[유니와이즈]16강. 초기하분포

seungyeonworld — Mon, 17 Feb 2025 21:04:45 +0900

5.4 초기하 분포

** 이항분포 - 독립시행, 복원추출의 경우

** 초기하분포

- 비복원추출의 경우 활용

- 전체 모집단에서 특정한 속성을 가진 항목을 포함한 개수를 구하는 확률

- ex. 빨강공 5개, 파란공 10개 있는 상자에서 무작위로 4개공을 비복원 추출할때, 빨강공이 2개나올 확률

** 초기하실험

- N개의 유한모집단으로부터 크기 n인 확률표본을 비복원으로 추출

- N개중 k 개는 성공, N - k는 실패

- 초기하확률변수 X : 초기하실험엣 표본 중 성공의 수

- 초기하분포 : 초기하확률변수의 확률분포, h(x;N, n, k)로 표시

(N : 모집단크기, n : 표본의 수, k : N개중 성공의 개수)

** 초기하분포

- k 개의 성공과 N - k 개의 실패로 구성된 크기 N인 유한 모집단에서 크기 n인 확률표본을 취할 때, 성공의 개수를 나타내는

초기하확률변수 X의 확률분포는 아래와 같다.

- x번 성공할 확률 * (n-x)번 실패할 확률 / 전체N개중 n개를 뽑을 확률

** 초기하분포의 평균과 분산

[초기하분포의 평균]

- 직관적으로 샘플링 된 개수 n에서 모집단 내 성공 비율 K/N 을 곱한 값으로 이해하기!

[초기하분포의 분산]

- 첫번째 항 : 평균을 기반으로 한 기본적인 변동성

- 두번째 항 : 모집단 내에서 성공과 실패의 비율에 따른 변동성

- 세번째 항 : 비복원 추출에 의한 보정의 개수 (샘플을 뽑을수로 남은 모집단의 크기가 줄어들기 때문에 변동성이 줄어듦)

=> 이항분포와 비교시, 초기하분포는 비복원 추출을 고려하기 때문에 분산이 더 작아지는 경향이 있음

[이항분포와 초기화분포 비교]

- N(모집단크기) 이 커지면 비복원추출과 복원추출의 차이가 적어짐을 의미

- 초기하분포에서 N이 무한히 커질 경우 초기하분포 밀도함수가 이항분포 밀도함수로 수렴

- N(모집단크기) 이 상당히 크고 N에 비해 n이 상대적으로 매우 작을 경우도 이항분포를 사용하여 근사적으로 계산

** 다변량초기하 분포

- 초기하 분포는 두 개의 범주만 고려 (ex. 성공/실패 , 불량/정상)

- 다변량 초기하 분포는 세 개 이상의 범주를 가질 수 있음

- ex. 공 색상이 빨강, 파랑, 초록으로 나뉜 경우에서 특정 개수를 뽑을 확률을 계산

- 각 범주의 개수가 정해져 있는 상태에서 비복원 추출을 수행하므로, 한 범주의 값이 정해지면 다른범주의 값도 자동으로 결정

예제===============================================================

==================================================================

[유니와이즈]15강. 다항분포

seungyeonworld — Sun, 9 Feb 2025 16:29:17 +0900

5.3 다항분포

** 다항분포

- 여러개의 범주 중 하나를 선택하는 실험으 여러 번 반복할때 발생하는 확률분포

- 베르누이 분포는 성공/실패의 두 가지 결과만 가지지만, 다항분포는 여러개의 결과를 가질 수 있음

- 다항분포는 이항분포를 일반화한 형태이며, 이항분포는 k(가능한범주개수) = 2인 특수한 경우에 해당

- 여러범주로 나뉘는 사건에서의 확률을 분석할 때 유용함

★다항분포 예시

[유니와이즈]14강. 이산형 균일분포

seungyeonworld — Sun, 9 Feb 2025 16:18:18 +0900

5.1 이산형 균일분포

**이산형 균일분포

- 이산형 확률변ㅅ x가 유한개의 갑을 취하고 각 값에서 확률이 모두 같은 경우 X는 이산형 균일분포를 한다고 한다.

- 이산형 확률변 X가 x1,x1,```,xk의 값을 가지고, 각 갑을 취할 확률이 동일하다.

- 이산형 균일분포 : f(x;k)=k1,x=x1,x2,…,xk

- 균일분포는 모수 k 에 종속되어 있음을 나타내기 위해 f(x;k) 라는 기호를 사용

**이산형 균일분포의 평균과 분산

[ 공식 ]

[ 평균구하기 ]

[ 분산구하기 ]

★이산형 균일분포일 때 평균과 분산 쉽게 구하는 공식

5.2 이항분포와 다항분포

** 베르누이 분포

- 이항분포는 베르누이 분포를 연장한 개념 (베르누이 분포는 이항분포에서 n(반복) = 1 인경우임)

- 베르누이 시행 : 출현 가능한 결과가 상호배반적인 2가지 사상만 있는 시행

Ex) 상호배반적인 2개의 사상을 '성공'과 '실패'로 나누고 X를 성공하면 1, 실패하면 0을갖는 확률변수라 하자

P(X=1) = p, P(X=0) = q 라고 하면 p + q =1 => F(x) = p ˣ * q ¹ ⁻ ˣ ( x=0,1) // 그이외의 x 의경우 0

** 이항분포 (베르누이 시행을 여러번!)

- 한번 시행해서 '성공' 에 해당하는 사상이 출현할 확률이 p인 똑같은 베르누이 시행을 독립적으로 n번

반복해서 시행하는 것을 베르누이 과정이라고 함

- 베르누이 시행을 n번 반복

- 각 시행에서 성공할 확률이 p, 실패할 확률이 (1-p)

- 성공의 확률은 매 시행마다 일정 (p로 표시)

- 각 시행은 서로 독립)

- 확률변수 X는 성공한 횟수

- 이항분포 : 이항확률변수의 확률분포, b(x; n,p)로 표시, 시행횟수와 성공화률에 의존