安徽妇搡BBBB搡BBBB,嫩BBB槡BBBB槡BBBB,四川BBB搡BBB搡多人乱亂,擦老太BBB擦BBB擦BBB擦,搡BBBB搡BBB搡18,妖小槡BBBB槡BBBB槡

如何在調查前進(jìn)行有效的問(wèn)卷測試?

點(diǎn)擊次數:1154  發(fā)布日期:2020-06-13  【打印此頁(yè)】  【關(guān)閉
相關(guān)分類(lèi)
行業(yè)資訊
公司新聞
常見(jiàn)問(wèn)題
MORE 最新動(dòng)態(tài)
行業(yè)熱點(diǎn)專(zhuān)題分析——外賣(mài)行業(yè)
行業(yè)熱點(diǎn)專(zhuān)題分析——能源互聯(lián)網(wǎng)行業(yè)
行業(yè)熱點(diǎn)專(zhuān)題分析——智能控制器行業(yè)
行業(yè)熱點(diǎn)專(zhuān)題分析——集成電路行業(yè)
行業(yè)熱點(diǎn)專(zhuān)題分析——現代農業(yè)行業(yè)
行業(yè)熱點(diǎn)專(zhuān)題分析報告—智慧醫療行業(yè)
2022年碳化硅行業(yè)研究報告
2022年生物醫藥產(chǎn)業(yè)集群發(fā)展白皮書(shū)
2022年免稅品行業(yè)研究報告
2022年中醫藥行業(yè)深度研究報告
聯(lián)系我們

北京總部

地址:北京市朝陽(yáng)區798藝術(shù)區

電話(huà):010-67280121

手機:13146563030(項目總監)

網(wǎng)址:www.ypgejsk.cn

         www.hers-group.com


深圳分部

地址:深圳市龍崗吉華路布吉中心廣場(chǎng)B21

電話(huà):13189723517(陸經(jīng)理)


數據收集需要成本,一項調查動(dòng)輒花費十幾萬(wàn)或幾十萬(wàn),有些追蹤調查長(cháng)期積累下來(lái)的花費甚至過(guò)億。正因為如此,很多項目負責人在實(shí)地調查前不免忐忑不安:我設計的問(wèn)卷能不能收集到我真正所需要的信息?流程會(huì )不會(huì )出錯?在數據回收后,也經(jīng)常會(huì )發(fā)生因為設計上的失誤而導致數據缺失、錯誤等問(wèn)題然而悔之晚矣的情況。更糟糕的是,有些數據上的錯誤由于未能及時(shí)得以發(fā)現和調整,給人們的認知或決策帶來(lái)極其負面的影響和不可挽回的損失。

好的數據貴得是有道理的,數據收集的每一個(gè)環(huán)節都需要采取有效的質(zhì)量控制措施,才能規避錯誤,避免項目投入的錢(qián)財和人力付諸東流。其中,在調查項目投放實(shí)地之前非常重要的一項質(zhì)量控制措施就是對設計好的問(wèn)卷進(jìn)行測試。遵循一定的程序和技巧,問(wèn)卷測試可以有效地發(fā)現問(wèn)卷在內容、邏輯、流程等各方面的問(wèn)題。


 下面我們重點(diǎn)介紹常見(jiàn)的幾種問(wèn)卷測試的方法:


1. 專(zhuān)家評審(expert review)


專(zhuān)家評審指邀請各方面的專(zhuān)家基于其專(zhuān)業(yè)領(lǐng)域的知識和經(jīng)驗對問(wèn)卷可能存在的問(wèn)題進(jìn)行評估和提出解決方案。一般來(lái)說(shuō),專(zhuān)家評審應至少包括四個(gè)方面的專(zhuān)家:一是與項目主題相關(guān)的領(lǐng)域的專(zhuān)家,主要評估問(wèn)卷對專(zhuān)業(yè)概念的表述是否準確、測量的維度是否全面等;二是調查方法專(zhuān)家,主要評估問(wèn)卷在設計上的科學(xué)性與可行性,如問(wèn)題是否準確、流程是否適用、數據結構是否合理等;三是項目執行專(zhuān)家,主要評估執行過(guò)程中可能遇到哪些潛在的問(wèn)題,如預算的控制、進(jìn)度的控制、訪(fǎng)員的管理等;四是計算機方面的專(zhuān)家,主要評估計算機輔助訪(fǎng)問(wèn)或網(wǎng)絡(luò )訪(fǎng)問(wèn)中程序實(shí)現的難度以及可能存在的問(wèn)題。


優(yōu)勢:


?   各方專(zhuān)家對問(wèn)卷存在的潛在問(wèn)題的識別范圍較廣,可以覆蓋錯別字、語(yǔ)病、跳轉錯誤、概念表述錯誤、數據結構等各方面的錯誤。


?   快速且成本較低。


劣勢:


?   測試的效果取決于專(zhuān)家的水平。


?   只涉及來(lái)自專(zhuān)家的意見(jiàn), 而并無(wú)來(lái)自實(shí)際被訪(fǎng)者的意見(jiàn)。

2. 焦點(diǎn)小組訪(fǎng)談(focus group)

焦點(diǎn)小組訪(fǎng)談?dòng)梢粋€(gè)受過(guò)訓練的主持人帶領(lǐng)5-10個(gè)被訪(fǎng)者組成小組,對特定的調查主題和核心概念進(jìn)行無(wú)結構化的輪流發(fā)言及深入討論,以了解不同被訪(fǎng)者對測量概念的理解的差異。舉例來(lái)說(shuō),一項研究希望了解人們觀(guān)看和體驗藝術(shù)表演的情況。在焦點(diǎn)小組訪(fǎng)談中,被訪(fǎng)者對如何界定“觀(guān)看和體驗藝術(shù)表演”產(chǎn)生了爭議,比如,在飯店吃飯時(shí)順便聽(tīng)到了飯店的鋼琴演奏算不算?在電視上看藝術(shù)表演算不算?調研者可以基于這些發(fā)現改進(jìn)問(wèn)卷,使問(wèn)卷中的相關(guān)概念的界定和表述更加明確。

焦點(diǎn)小組訪(fǎng)談應盡可能地確保所招募的被訪(fǎng)者在背景、經(jīng)歷和認知上的多樣性,以發(fā)現盡可能多的問(wèn)題。在訪(fǎng)談過(guò)程中,主持人應營(yíng)造輕松的討論環(huán)境,確保在不偏離主題的前提下所有人都有機會(huì )暢所欲言。

優(yōu)勢:

?   方法靈活,成本較低,效率較高。小組的形式可以節省時(shí)間,成員間的頭腦風(fēng)暴與深入討論有利于產(chǎn)生更多意想不到的發(fā)現。而當意料之外的想法出現時(shí),小組主持人還可以立馬跟進(jìn)。這種方式可以幫助調研員在短的時(shí)間內獲取更多的信息。

?   收集的信息直接來(lái)自于與實(shí)際調查中的被訪(fǎng)者相似的群體。

劣勢:

?   測試的效果受到主持人的專(zhuān)業(yè)素養、溝通技巧及其在現場(chǎng)的引導與控制的影響。

?   訪(fǎng)談結論僅僅來(lái)自一小部分人群,其在多大程度上適用于更廣泛的人群需謹慎考慮。

3. 認知訪(fǎng)談(cognitive interview)

在認知訪(fǎng)談中,訪(fǎng)員基于設計好的問(wèn)卷對測試期選定的被訪(fǎng)者進(jìn)行一對一的訪(fǎng)問(wèn),以了解被訪(fǎng)者如何理解問(wèn)題和如何完成回答問(wèn)題的任務(wù)。認知訪(fǎng)談通常使用出聲思維的方法(think aloud)鼓勵被訪(fǎng)者用自述的方式將回答問(wèn)題時(shí)頭腦中的思考過(guò)程描述出來(lái),或是使用口頭盤(pán)問(wèn)的方法(verbal probing),由訪(fǎng)員根據被訪(fǎng)者的回答進(jìn)行引導式的、循序漸進(jìn)式的提問(wèn),如要求被訪(fǎng)者按照其對問(wèn)題的理解重新描述一下問(wèn)題或解釋一下問(wèn)題中的某一個(gè)詞語(yǔ)、提問(wèn)被訪(fǎng)者在回答過(guò)程中有什么困惑、提問(wèn)被訪(fǎng)者是如何得到答案的等?;谡J知訪(fǎng)談,調研者可以評估現有問(wèn)卷的敘述和邏輯是否合理,或被訪(fǎng)者在題意理解上是否會(huì )出現偏差等,并基于此對問(wèn)卷做出改進(jìn)。

認知訪(fǎng)談與焦點(diǎn)小組訪(fǎng)談的目標非常相似,而且與焦點(diǎn)小組訪(fǎng)談一樣要求所招募的被訪(fǎng)者在在背景、經(jīng)歷、認知上盡可能的多樣化。但二者不同的是,焦點(diǎn)小組訪(fǎng)談側重于與被訪(fǎng)者綜合地、整體地探討問(wèn)卷中的一些核心概念,而認知訪(fǎng)談則側重于發(fā)現被訪(fǎng)者在回答一道道具體問(wèn)題時(shí)的思維過(guò)程與答題策略。

優(yōu)勢:

?   收集的信息直接來(lái)自于與實(shí)際調查中的被訪(fǎng)者相似的群體。

?   通過(guò)了解被訪(fǎng)者在理解和回答問(wèn)題時(shí)的思維過(guò)程,可以有效地發(fā)現問(wèn)卷設計中的問(wèn)題和導致問(wèn)題的原因。

劣勢:

?   成本較高。

?   被訪(fǎng)者負擔很重,而且并不是所有被訪(fǎng)者都能夠適應出聲思維的方法,也不是所有的問(wèn)題都能夠描述出思維的過(guò)程。

?   被訪(fǎng)者可能因為需要口頭描述其思維過(guò)程而有意無(wú)意改變原本的答案。

?   訪(fǎng)談的實(shí)驗室環(huán)境與實(shí)際收集數據的環(huán)境有差異,不一定能發(fā)現實(shí)際環(huán)境中的問(wèn)題。

?   訪(fǎng)談結論僅僅來(lái)自一小部分人群,其在多大程度上適用于更廣泛的人群需謹慎考慮。
4. 預調查(field pretest / pilot)

預調查指在實(shí)際調查前小范圍地對整個(gè)訪(fǎng)問(wèn)的過(guò)程進(jìn)行預演。預調查通常選用有經(jīng)驗的訪(fǎng)員進(jìn)行訪(fǎng)問(wèn),訪(fǎng)問(wèn)的數量在15-35人之間,被訪(fǎng)者多為方便樣本,但盡量保證與實(shí)際調查中的被訪(fǎng)者的背景相似。除了被訪(fǎng)者不是基于概率抽樣的方法選出,預調查所使用的問(wèn)卷以及所有的流程都與即將進(jìn)行的實(shí)際調查一致,這樣有利于發(fā)現實(shí)際數據收集過(guò)程中被訪(fǎng)者或訪(fǎng)員可能出現的問(wèn)題。

大體來(lái)說(shuō),預調查的優(yōu)勢是能夠模擬真實(shí)的數據收集過(guò)程,發(fā)現真實(shí)環(huán)境下可能出現的問(wèn)題,并可以提供定量的可供分析的信息;劣勢是成本相對較高,而且數據同樣不具有代表性,測試的效果很大程度上取決于被訪(fǎng)者多大程度上與實(shí)際調查中的被訪(fǎng)者相似。

預調查的結果可以通過(guò)以下三種方式來(lái)進(jìn)行評估,我們下面依次介紹以下三種方法:

(1)訪(fǎng)員匯報(interviewer debriefing)

調研者通過(guò)訪(fǎng)員問(wèn)卷調查或者訪(fǎng)員間小組討論來(lái)獲取來(lái)自訪(fǎng)員的意見(jiàn)。訪(fǎng)員匯報的主要內容是他們在整個(gè)訪(fǎng)問(wèn)過(guò)程中的體驗,以及他們實(shí)際遇到的或者他們認為可能存在的各種問(wèn)題。

優(yōu)勢:

?   可以反映問(wèn)卷給受訪(fǎng)者帶來(lái)的體驗和困難,以及訪(fǎng)員對導致問(wèn)題的原因的評估。 

劣勢:

?   僅適用于有訪(fǎng)員參與的面訪(fǎng)或者電訪(fǎng)調查。

?   信息往往是主觀(guān)和非系統性的,如對于什么樣的問(wèn)題可以稱(chēng)之為問(wèn)題,不同的訪(fǎng)員的評判標準是不一樣的。

?   訪(fǎng)員發(fā)現問(wèn)題的能力有差異。比如說(shuō),有經(jīng)驗的訪(fǎng)員可能會(huì )無(wú)意識地修正問(wèn)題中的錯誤,因而可能根本意識不到問(wèn)題的存在。


(2)被訪(fǎng)者匯報(respondent debriefing)

調研者通過(guò)在原問(wèn)卷上添加額外問(wèn)題或再次聯(lián)系被訪(fǎng)者的方式獲取來(lái)自被訪(fǎng)者的意見(jiàn)。被訪(fǎng)者匯報主要用于了解實(shí)際訪(fǎng)問(wèn)場(chǎng)景下被訪(fǎng)者理解和回答問(wèn)題的思維過(guò)程,以評估所收集的數據在多大程度上符合設計的預期。被訪(fǎng)者匯報還可以了解被訪(fǎng)者答題的主觀(guān)體驗以及對調查的整體反饋,如問(wèn)題內容是否太過(guò)敏感、調查時(shí)間是否太長(cháng)等。

優(yōu)勢:

?   可以有效地了解實(shí)際訪(fǎng)問(wèn)過(guò)程中被訪(fǎng)者回答問(wèn)題的思維過(guò)程,評估他們在理解和回答問(wèn)題時(shí)可能出現的問(wèn)題并進(jìn)行改進(jìn)。 

劣勢:

?   添加太多的額外問(wèn)題會(huì )實(shí)際改變測量的工具并影響到預調查的流程,使得預調查并不能真正地模擬真實(shí)調查的情景。因而這種方法只適用于對一小部分問(wèn)題進(jìn)行評估(一般不超過(guò)6道問(wèn)題)。


?   再次聯(lián)系被訪(fǎng)者獲取的信息的準確程度依賴(lài)于被訪(fǎng)者的記憶能力。

(3)行為編碼(behavior coding)

調研者在獲得被訪(fǎng)者同意的前提下,通過(guò)音頻的方式全程記錄訪(fǎng)問(wèn)的過(guò)程,然后對這些音頻記錄中訪(fǎng)員和被訪(fǎng)者詢(xún)問(wèn)和回答問(wèn)題的行為進(jìn)行編碼,并統計出調查過(guò)程中出現各種問(wèn)題的頻率。其中,對訪(fǎng)員行為的編碼包括是否正確讀出問(wèn)題、是否對問(wèn)題進(jìn)行了改動(dòng)以及改動(dòng)程度如何、是否出現跳轉錯誤等,對被訪(fǎng)者行為的編碼包括是否要求重讀問(wèn)題、是否要求解釋問(wèn)題、是否提供了選項之外的答案、是否打斷問(wèn)題、回答問(wèn)題的語(yǔ)氣是否不太確定等。對于出現頻率特別高的問(wèn)題,調研者應該考慮進(jìn)行改進(jìn)。 

優(yōu)勢:


 ?  客觀(guān)、系統、可復制、可量化的測試結果可以為研究者提供更可信的證據。

劣勢:

?   編碼只能反映訪(fǎng)問(wèn)過(guò)程中出現的問(wèn)題,卻很少能提示問(wèn)題出現的原因,通常需要結合訪(fǎng)員或被訪(fǎng)者匯報來(lái)識別出產(chǎn)生問(wèn)題的原因。

?   有些問(wèn)題不能被很好的觀(guān)察到,比如只要被訪(fǎng)者自己認為自己能夠正確理解問(wèn)卷中問(wèn)題,他們在答題行為上便不會(huì )有任何異常的體現。

5. 統計方法(statistical methods)

統計方法建立在預調查的基礎上。當預調查的數據量足夠大時(shí)(一般30人以上),可以采用統計的方法并結合計算機技術(shù)來(lái)對問(wèn)卷結果進(jìn)行客觀(guān)的評估。

通常來(lái)說(shuō),檢查答案的分布可以得到一些有益的啟示。比如說(shuō),如果一道問(wèn)題的大部分的答案都集中在一兩個(gè)選項,那么這道問(wèn)題所收集的信息其實(shí)是非常有限的,選項的設置很有可能需要重新調整;再比如說(shuō),如果一道問(wèn)題沒(méi)有人問(wèn)答,那么研究者可能需要考慮這道問(wèn)題是否在跳轉上存在錯誤,或者這道問(wèn)題是否太難以致于被訪(fǎng)者無(wú)法回答等。此外,變量間的相關(guān)關(guān)系是否符合預期也是評估問(wèn)卷設計的一個(gè)依據。

如果是網(wǎng)絡(luò )調查,那么對并行數據(paradata)(如擊鍵行為、鼠標的移動(dòng)、答題時(shí)間、中途退出等信息)的統計分析也能發(fā)現一些問(wèn)題。比如說(shuō),如果大量受訪(fǎng)者在某一道題退出訪(fǎng)問(wèn),那么這道題有可能太過(guò)敏感以致于很多人都放棄答題,或者這道題在編程上存在問(wèn)題以致于很多人在答到此題時(shí)主動(dòng)或被迫退出(如加載速度過(guò)慢)。再比如說(shuō),如果某道題的答題時(shí)間過(guò)長(cháng),那么這道題可能回答的難度過(guò)大。

優(yōu)勢:

?   對于調研者評估問(wèn)卷數據的質(zhì)量能夠提供非常有用的信息。

?   基于已有的預調查數據進(jìn)行統計方法的評估,成本是相對低廉的。

劣勢:

?   數據不具有代表性,其所提供的信息的價(jià)值取決于被訪(fǎng)者多大程度上與實(shí)際調查中的被訪(fǎng)者相似。

除以上5種常用的問(wèn)卷測試方法外,針對一些具體的測試目標我們還有別的一些具體的測試方法,此處不再一一介紹??偟膩?lái)說(shuō),各種方法有各自的側重點(diǎn),我們可以根據項目的具體情況著(zhù)重選擇其中一種或幾種測試方法。同時(shí),由于各種方法都有其局限性,我們建議在經(jīng)費許可的條件下,盡可能地采取多種測試方法,以互相補充,盡可能多地發(fā)現問(wèn)題。
Copyright © 2017-2022 www.ypgejsk.cn 版權所有 京ICP備18006833號-1
 
和仕信研(北京)咨詢(xún)有限公司
QQ在線(xiàn)咨詢(xún)
客服咨詢(xún)
咨詢(xún)熱線(xiàn)
010-67280121
安徽妇搡BBBB搡BBBB,嫩BBB槡BBBB槡BBBB,四川BBB搡BBB搡多人乱亂,擦老太BBB擦BBB擦BBB擦,搡BBBB搡BBB搡18,妖小槡BBBB槡BBBB槡