📜 제목으로 보기

✏마지막 댓글로

학습목표

체계적 문헌고찰의 정의에 대해 설명할 수 있다.

체계적 문헌고찰의 단계를 이해할 수 있다.

메타분석의 정의에 대해 설명할 수 있다.

주요용어

  • 체계적 문헌 고찰 : 특정 연구 질문에 답하기 위해 사전에 정해진 선정기준에 맞는 모든 근거를 수집하여 분석하는 연구방법

  • 메타분석 : 체계적 문헌 고찰 수행과정에서 2개 이상의 개별 연구의 요약 통계량을 합성함으로써 해당 중재법의 통합된 가중평균 요약 통계량을 정량적으로 산출하여 임상적 효과성을 평가하기 위해 사용되는 통계적 기법

  • 비뚤림(bias) 위험 : 비뚤림은 체계적 오류이며, 비뚤림 위험은 비뚤림이 발생할 위험 정도를 말한다.

목차

  1. 체계적 문헌고찰 소개
  2. 체계적 문헌고찰 과정
  3. 메타분석 소개

체계적 문헌고찰 소개

  • 메타분석의 목적
  • 의학적 방법론은 evidence로 결정되는데, 가장 높은 부분이 체계적 문헌고찰이다.
  • 하나의 방법이 아닌, 여러 방법을 통합해서 전반적인 치료효과에 대한 evidence를 연구 20220609093948

체계적 문헌고찰 흐름도

  • 무슨 목적으로 시작했냐?의 질문으로 프로토코(연구계획서)를 작성한 뒤
  • 여러 문헌들 검색 -> 주 데이터로 자료 추출 -> 질 평가 및 통계분석(메타분석)
    20220609094157
  • 메타분석은 쳬문고의 한 방법으로서, 시행 못할 수 도 있다.
    • 통계 분석이다보니, 어느정도 데이터가 나와야 함.
    • 문헌은 고찰됬는데 자료추출이 안될 수도 있음.

체계적 문헌고찰 과정

PICO의 설정

  • 관심있는 주제를 gogole, pubmed 검색으로 나오는 문헌으로 자료로 데이터 x -> 미리 사전에 계획한 프로토콜을 만들어야한다.

  • PICO를 설정하고, 검색어도 결정된다. 20220609094414

  • P: patient(환자군) or target population(관심집단의 모집단)

  • I: evidence를 보이고자하는 중재법 or 치료법 or (위험요소)노출
  • C: 위약군(plaebo) or 활성대조군(현재 표준치료 등) (이 있어야 intervention의 효과가 극명하게 나타남)
  • O: 확인하고자하는 결과치, 1개 이상이 될 수 있음.
  • S: study design
    • 피라미드에서 문헌고찰이 top인 상황은, 모두 RCT를 바탕으로 한 문허고찰일 경우를 말함.
    • 어떤 연구들은 RCT불가 -> 어느 범위까지 study design을 넓힐 것인지도 포함시킴
  • PICO예시 살펴보기
    • BMJ(high Impact)에 실린 논문
    • 정말 아침밥 먹는 것이 체중조절 or 에너지 섭취에 도움이 되냐? 20220609095127
  • P : People living in high income countries
    • 선진국 인구
    • 후진국일 경우, 식사에 대한 여러 confounder issue들이 존재할 것임.
    • 치료가 아니니 일반인들 대상으로 P를 잡음.
  • I : Breakfast eaters
    • 아침식사 함
  • C : Breakfast skippers
    • 아침식사 안함.
  • O : Weight loss (kg), Energy intake (kJ)
    • outcome이 2개임
  • S : Randomized controlled trial
    • RCT로만 국한함.
  • PICO + S를 결정해놔야 주제어라 든지 등이 만들어진다.

문헌검색

  • 앞의 PICO 설정에 의해 주제어가 나온 상태다.
  • 제일 쉽게는 구글이나 펍메드를 생각할 수 있으나 COSI 모델안에서 검색을 한다. 20220609095734
  • COre에서 검색을 가장 추천한다.
    1. MED LINE(pubmed 관련)
    2. EM BASE
    3. Cochrance CENTRAL
    • 최근에는 구글스칼라도 추가된다.
    • 경우에 따라서는 주제에 특화된 검색엔진을 쓰기도 한다.

  • MEDLINE은 미국의학도서관 base / EMBASE는 유럽 base

    • 2 엔진에 다 검색하는 것을 추천한다.
    • 하나만 선택하면 selection bias가 있을 수 있기 때문에 2가지 검색엔진은 무조건 하기를 권장함.
      • 중복 안되는 비율 30%이상 된다고 알려짐 20220609100152

  • Mesh와 EMTREE라는 term을 서로 다르게 사용하기 때문에, 도서관 사서분들에게 부탁해도 된다고 한다.

  • 주먹구구 검색이 아니라 철저한 계획아래 PICO 설정 -> 주제어로 검색했따는 증거를 Search strategy로 appendix에 제출한다. 20220609100902

문헌 선택

  • 임상연구의 첫번째 figure가 환자flow chart처럼, 문헌고찰에서도 flow chart를 먼저 그리는데, 그것을 PRISMA flow diagram이라고 한다.

    • 아래는 2009년 버전 20220609101119
    1. 최소 2개이상의 검색엔진에서 검색
    2. 중복 제거해서 남는 것
    3. 제목과 초록만으로 1차 배제
    4. 원문 확인후 2차 배제
    5. 체계적 문헌고찰에 사용된 연구 수
    6. 데이터 이용가능한 연구 수

  • 예시 논문(prisma flow diagram 2019) 20220609101513

    • pubmed만 포함되고 embase는 검색안했다. 영양쪽 검색해서 3개 검색엔진 사용했다.
    • 604개 논문 시작
    • 제목과 초록으로 552개(90% 이상) 날라감
    • 프로토콜에서 제시한 Exclusion criteria를 적용했떠니 39개 날아감
    • 체계적 문헌고찰용 13개
    • 메타분석용 12개 (아마 1개는 데이터이용 불가였을 것)

  • Prisma flow diagram 2020 버전 업데이트 20220609101924

    • 기존에 나온 체계적 문헌고찰 포함 가능
    • publishing안된 다른 method의 연구도 포함 가능
    • R패키지와 사이트가 생김 20220609101954 20220609102016

자료 추출

  • 자료추출 시 고려할 수 있는 항목들 (Cochrane handbook, 2011) 20220609102238

  • 예시 논문에서 13개의 논문을 추출했는데

    • Results에 있는 메타 분석 뿐만 아니라

    • 앞 단의 모든 내용들도 추출해야한다.

      • 2번째 figure에 선정한 논문들의 characteristic을 싣어야하기 때문
      • 어떤 스터디디자인, rct method, 대상자 몇명, 평균 나이-성비 등, 인터벤션의 종류(ex> 약재 종류, 같은 약재라도 용량, 용법), outcome 정의 및 내용 등 20220609134727

    • 예시 논문에서 제시한 13편 논문의 characteristics를 table2로 제시

      • 환자수, 평균나이, 인터벤션 정의, 컨트롤 정의, outcome 정의 및 어떤 것을 측정, duration 등 제시 20220609134857

  • 메타 분석에 들어가는 13개 중 10개 논문에서 뽑아낸 weight loss raw data

    • 2군에 들어가는 환자 수 / outcome(weight loss or enery intake)의 평균과 표준편차 20220609135147
  • 만약, 데이터 추출이 2~3개 논문에서 밖에 불가능하다? 연구자가 메타분석을 할 것인지 고민해야한다.
    • 질적 합성만 하기도 한다.

문헌의 비뚤림(bias) 위험 평가

  • 자료 추출후 바로 메타분석을 해도 되지만, 그 전에 수행해야할 것이 문헌의 비뚤림 위험 평가이다.

    • 자료 추출시 같이 평가하면 된다.

  • 일반 임상연구에서는 하지 않지만, 체계적 문헌고찰에서는 반드시 시행해야한다.

    • 문헌에 발표된 데이터들을 믿어야할까?
    • 의심되는 bias, confounder 평가를 해줘야한다.
    • RCT는 잘 수행되었지만, randomization이나 outcome평가가 잘되었는지 등을 평가해야한다.

  • 문헌검색 및 선정과정을 통해 포함가능성이 확인된 연구에 대하여 비뚤림 위험 평가가 수행되어야 함.

    1. 선정기준 적합 여부
      • PICO 중 P: target population이 정한 것과 맞는 것인지
    2. 보고된 내용의 적합 여부
    3. 수행된 연구의 질
    4. 선정된 연구로부터 추출하게 될 정보에 따르는 bias의 정도 등

  • 비뚤림 위험 평가 도구 ▪ RCT : Cochrane group(체계적 문헌고찰 연구 그룹)‘s Risk of bias도구 사용하기 ▪ 비무작위 연구(관찰 연구 등): Risk of Bias Assessment tool for Non-randomized Study (RoBANS)

  • Cochrane : Risk of bias 도구
    • RCT를 잘 수행했는지 평가하는 도구: 핵심은 무작위 배정이니.. 평가 20220609135928
      • bmj논문 예시 20220609140120
        • 한눈에 잘 안보이니 그래프로 나타낸다. 20220609140158
      • 결과적으로는 3번째 항목(블라인드 유지가 되었는지)
        • 이 논문에서 intervention과 control은 아침밥을 먹냐/안먹냐인데, 다 blinding하는 것이 말이 안되므로 다 open trial이었을 것 -> 다 빨간색 high risk로 표기된다.
        • 여기서 중요한 것은 data 및 평가 부분이지만, 다 초록색은 아니다. 그러나 Other bias부분이 100% low risk라서 risk of bias를 잘 평가했다고 볼 수 있다. 20220609140545

메타분석(Meta Analysis)

  • 정량적 합성 (Quantitative synthesis) vs 정성적 합성 (Qualitative synthesis)
    • 데이터 추출이 가능한 문헌 수가 몇개인지
    • 질 평가했더니 너무 risk of bias 높았는지
  • 정량적 합성의 특성 -> 3개의 목적을 가진다.
    • 효과의 방향은 어떠한가?
      • 아침식사 하는 게 좋은 것인지? 안하는게 좋은지?
    • 효과의 크기는 어떠한가?
      • 크게 좋은지, moderate하게만 좋은지?
    • 효과가 연구들 사이에 일관성이 있는가?
      • 결과가 일관성이 있는지?
    • 3개의 목적을 종합적으로 제시해주는 것이 메타분석 20220609141426
  • 체계적 문헌고찰 결과 최종 선정된 연구들을 대상으로 정량적 근거 합성을 하고자 할 때 메타분석을 실시함.
    1. 전통적 메타분석
    2. 베이지안 메타분석
      • 기존의 정보를 추가해서
    3. 네트워크 메타분석 (간접비교 및 혼합비교)
      • 이미 많은 연구들이 많이 수행된 상태라서, 새로운 메서드 적용

메타분석(전통적)

  • 전통적 메타분석의 원리
    1. 문헌 검색( raw data -> 효과 측정)
      • raw data는 거의 볼 수 없다.
    2. 측정된 효과들을 통합한 효과 추정 20220609141856

메타분석이란?

  • 기존 연구에서 발견된 결과들의 통합을 목적으로 가지고 일련의 개별 연구들로부터 수립된 다양한 연구 결과들을 통계적으로 분석하는 방법
    • “분석의 분석(analysis of analysis)”
  • 두 개 이상의 연구자료 결과를 결합함
    • 2개 가지고 가능하지만 추천X, 적어도 10개 이상 데이터 추출 가능하는 것이 좋음.
  • ‘평균’ 혹은 ‘공통 (common)’(통합된) 효과를 추정함
  • 체계적 문헌고찰의 부가적 요소
    • 안하고 그냥 문헌고찰 후 case report처럼 보고만 하고 문헌고찰을 끝낼 수 도 있다. 20220609142119

왜 메타분석을 하는가?

  • 치료 효과 및 효과의 불확실성을 정량적으로 측정
    • 논문마다 값마다 조금씩 다 다른데, 그것을 통합하여 정량적 측정
  • 검정력 증가
    • 여러 연구가 통합되면 표본수 증가되어 검정력이 향상됨
      • 각 스터디들은 positive result로 가긴 하지만, 환자수가 작아서 통계적 유의성이 없을 수 있음.
  • 정밀성 향상
    • 중재법에 대한 효과추정치에 보다 많은 정보가 있을 경우 정밀도가 향상 될 수 있음.
  • 연구자료 간 차이점 탐색
  • 연구자료들 간 상반된 결과에 대한 논란을 해결
    • 종합적 결과에 대해서는 논란이 없어짐
  • 새로운 가설 제기
    • 생각치 못한 결과로 나왔을 때

메타분석을 하면 안되는 경우 (1)

  • 데이터만 추출되었다고 시행할 순 없는데...
  • 사과와 오렌지의 혼합(사과는 사과끼리만)
    • 선정된 각 연구자료는 동일한 연구질문을 다루어야 함(비슷하다고 포함X)
      • 군 간 대조, 결과평가를 고려
      • 체계적 문헌고찰 저자들의 주관적 판단 필요함
    • 광범위한 종류의 연구자료들이 결합되면, 광범위한 연구질문에 대한 대답을 얻게 됨
    • 연구자료들의 성격이 지나치게 폭넓을 경우, 분석결과의 의미가 없어지거나 참 효과값 (true effects)이 불명확해질 수 있음

메타분석을 하면 안되는 경우 (2)

  • 연구자료의 비뚤림(bias)이 너무 심하면, 메타분석 결과를 신뢰할 수 없게 됨 (garbage in – garbage out)
    • 질 평가를 했을 때, risk가 다 높으면 하면 안된다.
    • 메타분석 결과는 분석에 포함된 연구자료에 좌우됨.
    • 연구자료의 bias 위험이 높다면, 메타분석 결과 역시 부정확함.
    • 특히 심각한 reporting bias (특히 publication bias)가 있다면:
      • 전체 연구결과를 대표하지 못하는, 일부 연구자료들만의 조합으로 인해 결과가 오도될 수 있음

메타분석을 수행할 수 있는 경우

  • 2개 이상 문헌에서 효과 측정이 이루어졌을 때
  • 의미 있고 유용한 결과가 도출될 만큼, 문헌들이 충분히 유사할 때
  • 결과 측정이 유사한 방식으로 이루어졌을 때
  • 분석 가능한 형태의 자료를 추출할 수 있을 때
    • Sufficient number of studies (≥10)
    • 경험에 의하면 5개 이상이면 할만은 하다. 그 이하는 메타분석 없이 문헌고찰만

연습문제

01 다음 중 체계적 문헌고찰의 내용으로 맞는 것은?

  1. 명백하게 구조화된 질문을 가진 종설로, 체계적이고 엄격한 방법에 따라 관련된 연구를 모두 찾고 선택하여 연구에 포함된 자료를 수집분석하는 연구방법이다.

  2. 메타분석은 체계적 문헌고찰 과정에 반드시 포함된다.

  3. 진단검사의 정확성에 대한 체계적 문헌고찰은 수행할 수 없다.

  4. 무작위배정 임상시험으로 수행된 문헌들로만 수행할 수 있다.

  • 정답:1
  • 해설 : 메타분석은 체계적 문헌고찰 과정의 필수요소는 아니며, 진단검사의 정확성에 대한 체계적 문헌고찰도 수행가능하다. 또한 관찰연구도 포함할 수 있다.

02. 다음 중 research question을 정하기 위한 PICO 정의에 맞지 않는 것은?

  1. P : 연구하고자 하는 질환이나 대상자

  2. I : 연구하고자 하는 중재법 또는 노출(exposure)

  3. C : 체계적 문헌고찰에 포함할 연구설계

  4. O : 관심 질문을 통해 확인하고자 하는 결과

  • 정답: 3
  • 해설: C는 위약(placebo) 또는 활성 대조군(active control)과 같은 비교군을 말한다

03 문헌검색 및 선정과정을 통해 포함가능성이 확인된 연구에 대하여 비뚤림 위험 평가가 수행되어야 한다. 이때 무작위배정 연구에 대한 비뚤림 위험 평가 도구 중 Cochrane group에서 개발한 것은 무엇인가?

  1. Scottish Intercollegiate Guideline Network (SIGN)

  2. Risk of bias (RoB)

  3. Jadad scale

  4. van Tulder scale

  • 정답: 2
  • 해설: Risk of bias (RoB) 도구는 무작위배정 연구의 근거문헌의 평가를 위하여 6개 영역 즉, 순서 생성, 배정 은닉, 눈가림, 불완전한 결과변수, 선택적 결과보고, 그리고 타당도를 위협하는 기타 잠재적 편견으로 구분하여 평가하기 위해 Cochrane group에서 개발하였다.

정리하기

  • 체계적 문헌 고찰은 특정 연구 질문에 답하기 위해 사전에 정해진 선정기준에 맞는 모든 거를 수집하여 분석하는 연구방법이다.

  • 체계적 문헌 고찰은 일반적으로 연구기획과 프로토콜 개발, 체계적 문헌고찰 수행, 보고서 성, 개정(update)의 과정을 거친다.

  • 프로토콜의 연구방법에는 PICO를 포함한 포함/배제기준, 문헌검색 전략, 문헌 선택, 문헌 분류, 비뚤림 위험 평가 방법, 자료추출 및 분석방법, 근거수준 평가를 포함할 수 있다.

  • 체계적 문헌고찰에서 정성적 합성(qualitative synthesis) 방법과 정량적 합성(quantitative synthesis) 방법 등의 자료분석방법이 있으며, 이 중 정량적 합성을 메타분석이라고 한다.

  • 메타분석은 체계적 문헌 고찰 수행과정에서 2개 이상의 개별 연구의 요약 통계량을 합성함으로써 해당 중재법의 통합된 가중평균 요약 통계량을 정량적으로 산출하여 임상적 효과성을 평가하기 위해 사용되는 통계적 기법이다.