<원인과 결과의 경제학> -나카무로 마키코, 쓰가와 유스케-

 

1. 인과 관계를 밝히기 위한 논문 중에는 같은 주제로 쓰인 논문들이 많다. 서로 다른 연구자가 같은 데이터를 가지고 논문을 쓰는 경우도 흔하며, 다른 데이터를 이용하는 경우도 물론 있다. 이 연구들의 결과가 모두 같다면 문제는 없다. 하지만 어떤 논문에서는 ‘인과관게가 있다’고 결론이 나고, 또 다른 논문에서는 ‘인과관계가 없다’고 결론이 나기도 한다. 그러나 자신에게 유리한 논문의 결론만 옳다고 우길 수는 없을 것이다. 이런 행동을 가리켜 체리피킹(과수업자들이 평판이 나빠질 것을 우려해 질 좋은 체리만 유통시키고 질 나쁜 체리는 감추는 행태에서 유래된 말)이라고 하는데, 특히 연구에서는 철저히 지양해야 하는 행동이다. 최근 인터넷을 보면 유감스럽게도 체리피킹이 심심치 않게 눈에 띄고, 이로 인해 잘못된 정보가 확산되는 경우도 적지 않다. 이럴 때 쓰는 분석 방법이 바로 ‘메타 분석’인데, 여기서 ‘메타’란 ‘고차원’을 의미하며, 복수의 연구 결과를 하나로 종합해 전체적으로 어떤 관계가 있는지 밝히는 기법이다. p.73

2. 인과 추론의 5단계(광고와 매출의 상관관계 사례)
 1) 1단계 : ‘원인’은 무엇인가?
 광고와 매출의 경우에서는 ‘광고’가 이에 해당한다. 단, 원인이 광고라 하더라도 그것이 구체적으로 광고료인지, 게재 면적인지, 아니면 단순히 광고를 냈는지의 여부인지 등 무엇을 가리키는지는 명확히 정의해야 한다. 
 2) 2단계 : ‘결과’는 무엇인가?
 광고와 매출에서는 ‘매출’이 이에 해당한다. 확인하고자 하는 것이 매출인지, 영업이익인지 확실히 해야 한다. 즉, 결과 또한 애매하게 정의해서는 안 된다.
 3) 3단계 : 세 가지 체크 포인트를 확인
 인과관계를 확인하기 위한 세 가지 체크 포인트 ‘① 우연의 일치는 아닌가? ② 교란 요인은 존재하지 않는가? ③ 역의 인과관계는 존재하지 않는가?’를 확인해야 한다. 광고와 매출의 사례에서는 ②의 광고와 매출 양쪽 모두에 영향을 미치고 있을 만한 변수가 존재하지 않는지 확실하게 검토해야 한다. 예를 들어 ‘호황’과 같은 요인이 존재할 가능성이 있을 수 있다. 경기가 좋으면 광고를 내려는 경향이 강해지고 이와 함께 매출도 향상될 가능성이 높다. 만일 ‘호황’이라는 교란 요인이 존재한다면 광고와 매출의 관계는 거짓 상관에 지나지 않는다.
 4) 4단계 : 반사실을 만들어낼 것
 광고와 매출 사이에 인과관계가 있는지 확인하기 위해서는 당신의 회사가 광고를 냈을 때의 매출과 광고를 내지 않았을 때의 매출을 비교할 필요가 있다. 여기서 ‘광고를 내지 않았을 때’라는 가정이 바로 ‘반사실’이다. 예를 들어 경기가 좋으면 ‘광고를 내지 않았어도 매출은 올랐을 것’으로 예상할 수 있기 때문에, 광고가 매출에 주는 효과는 생각보다 작을 수 있다. ‘광고를 내지 않았을 때'라는 반사실의 매출은 알 수 없다. 그러나 광고와 매출의 인과관계를 알기 위해서는 반드시 반사실이 필요하기 때문에 ’타당한 값‘으로 채워져야 한다. 예를 들어 같은 시기에 광고를 내지 않았던 경쟁사 매출 데이터의 활용 가능성 등을 모색해봐야 한다.
 5) 5단계 : 비교 가능해지도록 조정할 것
 반사실을 타당한 값으로 채우는 유력한 방법은 ‘비교 가능’한 그룹이 죄도록 조정하는 것이다. 예를 들어 같은 시기에 광고를 내지 않았던 경쟁사가 당신의 회사와 ‘비교 가능’하다고 치자. 이때 경쟁사의 매출은 ‘당신의 회사가 만일 광고를 내지 않았을 때(반사실)의 매출’을 타당한 값으로 채우는 데 활용할 수 있다. pp.184-186