웹 사이트가 유기적 검색 결과의 상위에 표시되게 하기 위해서는 SEO(검색 엔진 최적화)가 필요하다. 사진 공유 서비스 Pinterest가, 어떤 변화를 웹 사이트에 추가하면 많은 사람들이 Pinterest를 찾아 이용하게되는지를 A/B 테스트로 실험했다며 그 내용을 정리했다.
Pinterest는 A/B 테스트를 하는데 있어서, 먼저 "관련 항목 바가 있고없고" 등 특정 단면에 따라 그래픽을 그룹화하고, 각 그룹의 액세스 수를 날짜로 계산한 것. 또한 집계 결과를 표시하는 대시 보드도 자체 개발 한 것이라고한다.
A/B 테스트는 일반적으로, 사용자를 구분하여 수행되지만, Pinterest의 실험은 페이지를 구분하여 수행되었다. 즉, 모든 페이지가 "변경 사항을 변경 한 그룹(enabled)"로, 나머지 50%가 "대조군(control)"로 분류되어, 각각의 페이지는 URL의 해시에 따라 분류되었다.
URL의 해시는 실험명을 포함한 형태로 붙여졌기 때문에, 실험 그룹에서 페이지를 균등하게 전달하고, 또한 여러 실험을 다양한 그룹 크기로 동시에 할 수있었던 것.
실험 후, Pinterest는 트래픽을 비교하여 각 그룹의 성능을 비교했다. 다음 그림은 세로 축이 트래픽, 가로축이 날짜를 표시하고, "Experiment Launch"라고 쓰여져있는 부분이 실험의 시작 시점이다. 실험 시작 후, 느리게 그래프에 차이가 나는것을 알 수있다. 시작 시점에서 2개의 그래프가 완전히 일치하지 않는 것은, 페이지에 의해 인기가 있는 것과없는 것이 존재하기 때문.
이 차이를 표준화하기 위해, Pinterest는 데이터를 다음과 같이 다시 플롯했다. 다음 그림은 세로 축이 트래픽, 가로 축이 날짜로, 중간에 그려진 회색 라인이 실험 개시 시점. 파란 점선이 실험을 하기 전에 평균, 녹색 점선이 심험중인 평균이다. "변경 한 그룹으로부터 대조군을 뺀 값"을 붉은 실선으로 표시하면, 실험 개시 전후에 큰 차이가있는 것을 알 수있다.
A/B 테스트의 내용에는, 웹 사이트 맵의 변경, 링크의 펼치는 방법, 검색 엔진에 유효한 사이트 디자인 등 여러 가지가있을 수 있다. 그리고 무엇이 SEO로서 효과를 발휘하는지는 웹 사이트나 웹 사이트에서 취급하는 제품, 그리고 시기에 의한 나름이라는 것. 이 때문에 SEO로서 효과적인 방법을 찾으려면 수많은 실험을 할 수밖에없고, Pinterest가 실험 한 결과, 일반적으로 유효하다고 말하는 SEO 중에서도 전혀 쓸모없는 것이 존재하는 한편, "정말 의미가 있는가?"라고 의심스러웠던 방법이 효과를 발휘 할 수 있었다고한다.
예를 들어, Pinterest에 핀을 함께 저장하는 "보드"에는 제목 태그 복제가 너무많다는 것이 Google Search Console로 발견되었다. 보드 페이지의 제목 태그는 "{board_name}on Pinterest,"로 설정되어 있으며, 여러 사용자가 같은 이름으로 등록하고 있었다. 페이지 제목은 SEO에 중요한 요소이기 때문에, 중복 제목 테그를 줄이는 것이 일반적으로 유효하다고 알려져있다. 그래서 페이지 제목을 "{board_name} on Pinterest | ({number} Pins)."로 제목 태그의 중복을 방지하는 실험을 했지만, 그룹 간의 트래픽에 유의 한 차이는 보이지 않았다.
이와는 반대로 잘된 시책은 "description(설명)의 누락을 없애는"것이라는. 사용자가 핀을 붙여 넣을 때 문장의 설명이있는 것도 있고, 없는 것도 있다. 그래서 Pinterest는 핀 중에서 이미지의 설명이 풍부한 것을 선택하고, 그것을 다른 사람이 핀 한 설명이 없는 같은 이미지에 적용 시켰다. 이 변경은 예상보다 효력이 있었고, 추가 한 후속 실험을 통해 트래픽이 30%나 증가했다는 것이다.
대부분의 경우, 실험이 트래픽에 미치는 영향은 실험 시작 후 2~3일 내에 밝혀지기 시작했다고 Pinterest는 말한다. 그룹 간의 차이는, 차이가 안정 될 때까지 1~2주간에 걸쳐 계속 확대되는 것으로, 이전에 "성공적인 실험이란 무엇인가"를 확정해야 할 필요가있다.
예를 들어 다음의 그래프는 웹 사이트의 성능을 높이기 위해 JavaScript를 사용한 렌더링의 실험 효과를 보여준다. JavaScript의 사용이 SEO에 악영향을 주지않는다고 확인하고 싶었다고하지만, 실험 시작 후 2일째에 악 영향을 보이지 시작했다.
이때 Pinterest는 "이제 며칠간 지켜보자"라고 결정했지만, 며칠이 지나도 트래픽은 개선되지 않아, 결국 실험은 실패로 끝났다. 이 악영향을 복구하려면 1개월 정도 걸리기때문에, 결단하는 시기의 중요성을 Pinterest는 강조하고있다. 또한, "SEO에 악영향을 주지 않는다"라고하는 별도의 실험이 필요하다는 것도 여기에서 발견했다는 것이다.
