지침 : 디자인 과정을 시작하기 전에 웹사이트의 주요 목표들을 확인하고 명확하게 연관짓도록 하라.

주석 : 디자인 작업을 시작하기 전에 사이트의 주요 목표(교육, 정보, 오락, 판매등)를 확인하여야 한다. 사이트의 목표가 방문객, 콘텐츠, 기능, 사이트의 외관과 느낌을 결정하기 때문이다. 사이트의 목표에 대한 공감대를 도출하기 위해 경영진 및 웹사이트 작업팀과 협의를 하는것도 좋은 생각이다.

지침 : 초안(prototype)을 작성하고 테스트하는 반복 적용의(iterative) 디자인 기법을 통하여 가장 유용하고 사용성 높은 웹사이트를 만들어라.

주석 : 반복 적용의 디자인 기법은 문서와 소프트웨어의 초안을 작성하는 것과, 초안을 테스트하는 것. 그리고 테스트 결과에 기반하여 수정하는것으로 구성되어 있다. "테스트 및 이에 따른 수정" 과정은 웹사이트가 퍼포먼스 벤치마크("사용성 목표")를 만족할 때까지 반복해서 수행되어야 한다. 이 기준을 만족하면 반복 적용 과정은 끝난다. 초안의 개발을 도와주고 용이하게 하는 소프트웨어 툴을 사용하는 것도 좋다.

지침 : 사용성 향상을 위하여 웹사이트를 개편하고자 할 때에는 "사전 및 사후" 검증을 수행하라.

주석 : 디자인 개편전에 사전 및 사후 검증을 수행하는 것은 디자이너로 하여금 디자인 개편이 사이트의 사용성을 실제 향상시킬수 있는지 판단하는 것을 도와준다. 한 연구에 의하면 애초 사이트에서 22%의 사용자만이 실제 구매를 할 수 있었던 반면에 사이트의 대대적 개편 이후 88%의 사용자가 성공적으로 상품을 구매하였다고 한다.
이러한 "사전 및 사후" 검증을 통해 수행된 디자이너에 의한 모든 변화가 반드시 성공적이지는 않다는 것을 명심하여야 한다. 성공적이기 위해서 추가적인 테스트나 또 다른 "사전 및 사후" 검증이 필요할수도 있다.

지침 : 방문객들에게 매혹적이고 관련성 높고 적절한 콘텐츠를 제공하라.

주석 : 콘텐츠는 웹사이트에서 제공되는 정보이다. 잘못된 콘텐츠에 쉬운 접근이나 좋은 사용성을 제공해봤자 낭비이다. 한 연구에 의하면 콘텐츠는 웹사이트에서 가장 중요한 요소임이 발견되었다. 다른 연구에 의하면 콘텐츠는 네비게이션이나 비쥬얼 디자인, 기능성, 상호작용성보다 훨씬 더 중요한 요소라고 보고되었다.

지침 : 웹사이트의 구성이 사용자의 기대, 특히 네비게이션, 콘텐츠, 조직화에 관련된 것들을 만족시킬수 있도록 하라.

주석 : 디자이너가 (사용자의) 작업 분석과 다른 연구를 통해 사용자의 기대에 대한 이해를 높이는 것이 중요하다. 사용자는 자신의 사전 지식과 과거의 경험에 기반한 기대를 가지게 된다. 한 연구에 의하면 사용자는 화면상에 자신의 기대에 반하는 지시가 있다 할지라도 자기 기대에 기반하여 행동한다는 것을 밝혀냈다.
익숙한 구성과 네비게이션 방식은 사용자로 하여금 사이트의 레이아웃을 익히고 기억하는것을 쉽게 해준다. 사용자의 특정 비율은 사이트의 구성을 배우고 효율적으로 사용할만큼 해당 사이트를 자주 이용하지 않는다고 전제하는것이 가장 좋다. 따라서 (사용자에게) 익숙한 관례를 따르는 것이 최상의 결과를 가져온다.

지침 : 사용자의 요구사항을 더 잘 이해하기 위해 모든 이용가능한 자원을 사용하라.

주석 : 잠재 사용자와 정보 교환을 더 많이 할수록 사용자의 요구사항에 대한 개발자의 이해는 높아지게 된다. 이러한 정보가 쌓일수록 성공적인 웹사이트가 될 가능성이 높아진다. 이를 가능하게 하는 채널은 고객 지원 전화나 소비자 조사, 인터뷰, 게시판, 영업 사원, 사용자 그룹, 트레이드 쇼 참가 경험, 포커스 그룹등이다. 성공적인 프로젝트를 위해서는 적어도 4개(평균 5개) 이상의 정보 채널이 필요하다. 그러나 사용자 경험은 (참조사항은 되나) 너무 크게 의지하지 말도록 한다.

지침 : 개별 개발자(디자이너)들이 독자적으로 디자인을 제안하게 하고 각 디자인에서 가장 좋은 요소들을 사용하라.

주석 : 개별 구성원들이 스스로 디자인 결정을 하게 하거나 특정 디자이너의 아이디어에만 의존하지 말아야 한다. 대부분의 디자이너들은 최초의, 그럭저럭 만족할만한 그러나 최적화라고는 할 수 없는 해결책에 집중하는 전략을 채택하려고 한다. 디자인 이슈에 관한 집단 토의(브레인스토밍)도 최선의 해결책으로 이끄는 것은 아니다.
최선의 접근 방법은 디자이너들이 독자적으로 디자인 이슈를 제기하고 해결책을 제안하는 병렬 디자인(parallel design) 기법이다. 특정 해결책을 선택하기 전에 최대한 많이 제안들이 나오게 하라. 더 다양하고 독자적인 아이디어들이 나올수록 최종 생산물의 질이 좋아지게 된다.

지침 : 디자인 과정에서 최대한 많은 유저 인터페이스 문제를 고려하라.

주석 : 웹사이트의 구축과정에서 다양한 사용성 관련 이슈들을 고려하여야 한다. 이것들은 다음의 것을 포함한다. 사용자들이 사이트를 방문하게 되는 맥락; 사용자가 사이트에서 수행해야 할 작업의 종류; 사이트를 방문할 때 사용되는 컴퓨터와 회선의 속도; 사이트 초안의 평가; 사용성 테스트의 결과등.

지침 : 만일 (사이트상에서) 사용자의 작업수행이 중요하다면 콘텐츠와 구성, 상호작용, 네비게이션에 관한 결정을 사이트의 색상이나 장식적 그래픽에 관한 결정 이전에 내려라.

주석 : 미학적인 것을 다루기 이전에 높은 사용자 퍼포먼스를 달성할 수 있도록 집중하여야 한다. 그래픽 이슈들은 사용자의 (작업 수행) 성공률이나 수행 속도에 거의 영향을 미치지 않는다.

지침 : 사이트 사용자가 특정 정보를 찾는데 걸리는 시간과 성공률에 대한 수행성 목표나 사용자의 만족도나 긍정적 수용을 표시할 수 있는 선호도 목표를 설정하라.

주석 : 수행성 목표와(또는) 선호도 목표를 설정하는 것은 개발자가 더 나은 웹사이트를 만드는데 도움이 된다. 또한 이는 사용성 테스트를 보다 효율적으로 만드는데도 도움이 된다. 예를 들어 몇 몇의 인트라넷 사이트는 찾고자 하는 정보가 80%의 사람들이 일분안에 찾을수 있도록 목표를 설정하고 있다.

지침 : 서로 다른 사용성 평가 기법을 사용할 때는 적정 참가자 수를 정하도록 하라. 너무 적은 수로는 제대로 된 웹사이트의 사용성 평가를 할 수 없고 너무 많은 수는 비용 낭비이다.

주석 : 다음은 각 평가 방법에 따른 적정 참가자 수이다.

* 사용성 전문가에 의한 검사 평가(Inspection evaluation by usability specialiist)
검사 평가의 전형적 목표는 각각의 사용성 전문가로 하여금 광범위한 사용성 가이드를 적용하여 UI를 검사하게 하는 것이다. 이는 대개 2~5명에 의해 수행된다.
이러한 검사 결과는 제품의 사용성 평가에 참여한 전문가 수가 많을수록 더 많은 사용성 문제가 확인된다는 점이다. 그러나 확인된 모든 사용성 문제에는 적어도 하나 이상의, 실제로는 그 제품의 사용성 문제가 아닌 것들이 포함되는 부작용을 발견할 수 있다. 즉 평가자가 많을수록 빠뜨리는 사용성 문제는 줄게 되지만 반대로 거짓 사용성 문제들도 늘어나게 된다. 하여간 일반적으로 사용성 전문가가 많이 참여할수록 결과는 더 유용하게 된다.

* 사용자에 의해 수행되는 사용성 평가(Performance usability testing with users)
디자인 과정의 초기에는 적은 수의 사용자(대략 6명)로도 정보 구조(네비게이션)나 전반적인 디자인 이슈들을 확인하는데 충분하다. 만일 웹사이트가 매우 다른 유형의 사용자(예컨데 초보자와 전분가)를 대상으로 한다면 각각의 사용자 유형에 대하여 6명 이상의 테스터가 필요하다. 이러한 초기 테스트의 또다른 중요한 요인은 훈련된 사용성 전문가를 테스트 도우미나 주요 관찰자로 참여시키는 것이다.
일단 네비게이션이나 기본 콘텐츠, 디스플레이 세부사항들이 정해지면 사용성 목표에 부합되도록 양적인 수행성 테스트(시간 측정, 잘못된 경로, 콘텐츠 찾기의 실패등)를 시행할 수 있다. 각각의 사용성 목표를 예컨데 95%의 신뢰 수준으로 측정하기 위해서는 사용성 테스트에 많은수의 사용자가 참여하여야 한다.
두 개 사이트의 수행성을 서로 비교하기 위해서는(예컨데 기존 사이트와 개편후 사이트) 양적인 사용성 테스트가 채택되어야 한다. 사용성 전문가가 결과를 얼마나 확신할 수 있냐에 따라 테스트 참가 인원이 꽤 많이 요구될 수 있다.
사이트 개발의 전 과정에 걸쳐 반복적으로 사용성 테스트를 수행하는 것이 제일 좋다. 이럴 경우 사용성 전문가와 디자이너가 많은 사용자를 관찰하고 의견을 경청할 수 있다.

지침 : 사이트의 방문가능성을 높이기 위해 주요 검색엔진의 "상위(Top) 30개" 리스트에 들 수 있도록 하라.

주석 : 한 연구에 의하면 사용자들은 검색결과의 "상위 30개" 안에 들지 못하는 사이트는 찾지 않는 것으로 밝혀졌다. "상위 30개"에 들기 위해 필요한 특징들은 적절한 메타 데이터와 페이지 타이틀을 포함하고 있는가, 해당 사이트에 연결되는 링크의 수, 그리고 주요 검색 엔진에 등록을 최근에 했는가 등이다.

지침 : 웹사이트의 사용성 평가시 강한 개인적, 집단적 테스터들의 편향이 존재할 수 있다는 것을 인식하라.

주석 : 모든 테스터들이 사용성 문제의 수나 종류를 발견하는데 있어서 편향을 가지고 있는 것으로 보인다. 한 연구에 의하면 4개의 테스팅 팀이 완전히 동일한 시스템의 수행성 테스트를 하는데도 4개에서 98개까지에 걸쳐 사용성 문제를 발견했다고 한다. 각각의 팀에 의해 발견된 문제들의 90% 이상은 동일한 문제를 발견한 팀이 겨우 하나였다.
또 다른 연구에 의하면 9개의 별개 테스팅 팀들이 동일한 웹사이트의 수행성 테스트를 하면서 10개에서 150개에 걸쳐 사용성 문제를 발견했다고 한다. 이 연구에서는 각각의 팀에 의해 발견된 문제들의 절반 이상이 그 팀에서만 발견한 문제였다고 한다.
디자이너들은 사용성 테스터와 평가자들에게 자기 웹사이트의 사용성 목표를 정확하게 말해주어야 한다.

지침 : 휴리스틱 평가법 또는 전문가의 리뷰는 주의해서 사용하라.

주석 : 사용성 테스트를 하기 전에 휴리스틱 평가(예컨데 전문가 리뷰)를 수행하여 명백한 문제들을 결정하려고 하는 것이 일반적인 관례이다. 휴리스틱 평가는 수행성 평가 결과와 비교해볼때 실제 존재하지도 않는 잠재적인 문제들까지도 찾아내기 때문에 주의해서 사용해야 한다.
연구들에 의하면 휴리스틱 평가에 의해 예견된 잠재적인 문제들중 50% 미만이 수행성 테스트 결과에서 실제 문제로 밝혀진다고 한다. 게다가 수행성 테스트에서 밝혀진 실제 문제중 35% 이상을 휴리스틱 평가자들은 찾아내지 못했다. 휴리스틱 리뷰는 사용성 테스트를 하면서 평가해야할 잠재적인 사용성 문제들을 확인하는 데 사용하는 것이 최상의 사용법일 것이다.

지침 : 인지적 점검법(cognitive walkthrough)은 주의해서 사용하라.

주석 : 인지적 점검법은 수행성 테스트를 행하기 전에 명백한 문제들을 결정하기 위해 종종 행해진다. 인지적 점검법은 사용성 테스팅 결과와 비교해 볼 때 실제로 존재하는 문제들보다 있지도 않은 잠재적인 문제들을 훨씬 더 많이 찾아내는 것으로 보인다.
몇 몇 연구에 의하면 인지적 점검법에 의해 예견된 문제들중 단지 25%만이 수행성 테스트 결과 실제 문제로 밝혀졌다고 한다. 그리고 수행성 테스트에서 발견된 실제 문제중 13%는 인지적 점검법에서는 누락되었다. 인지적 점검법은 사용성 테스트를 하면서 평가해야할 잠재적인 사용성 문제들을 확인하는 데 사용하는 것이 최상의 사용법일 것이다.