2、分析類目表
本研究並沒有直接可以採用的類目分析表,故在借鑒相關類目表和先前研究的基礎上自行研發。在研發類目表時,研究者做到以下三點:一是充分審讀兩岸相關研究文獻,借鑒最新研究成果;二是多次諮詢課程專家、政治教科書研究專家;三是反復論證分類的科學性,不斷修改、補充和調整。“主類目”和“次類目”開發過程如下:
(1)主類目之擬定
一般認為,國家有四大構成要素:國土(領土)、人口(民族)、文化(語言)、主權(政府),本文將之作為主類目編制的主要依據。類目概念架構如圖1所示。
(2)次類目之擬定
本研究次類目的制定主要參考了肖振南“台灣社會教科書國家觀念主題類目表”〔9〕,胡育仁“台灣社會教科書本土化內容分析類目表”〔10〕,陳盈宏“社會科國族概念分析主題類目表”〔11〕。在閱讀研究對象文本、吸收前人研究成果和徵詢學科專家意見的基礎上,研究者擬定了“中國地理景觀”、“台灣各縣市”等“國土”主類目之次類目,“中國人”、“台灣人”等 “人口” 主類目之次類目,“漢語、國語、普通話”、“原住民文化”等“文化”主類目之次類目,“提及光復或台灣光復的”、“提及鄭氏或鄭氏王朝(時代)的”等“主權”主類目之次類目。對擬定的主、次類目進行解釋、說明和舉例以便於專家效度和編碼員間信度檢驗(參見表1)。
(三)效度與信度
1、專家效度
效度是指對所要測量概念的代表程度〔12〕。如果一個測量工具能測量出使用者聲稱它所測量的,那便是有效的測量工具。如果從現有文本中得出的推論,經得起獨立存在的證據、新的觀察、其他理論或詮釋的考驗,或可以影響行為的話,那內容分析便是有效的〔13〕。主、次類目擬定後,我們交由專門從事政治科教材教法、華語文研究的五位專家審讀,進行專家效度檢核。專家對主、次類目及其變項逐條考量,提出“適合”、“修改後適合”或“不適合”的評判。根據多數專家的意見,對“修改後適合”的次類目,要求專家給出修改意見,刪除“不適合”之次類目,補充了一些次類目。
經專家效度檢核之後的內容分析主題類目表如下:
(表1:台灣地區初中政治教科書國家觀念主題類目表〔15〕)
2、編碼員間信度
信度是指一種測量方法在多次重複試驗過程中得到相同結果的可能性。當使用人工編碼進行內容分析時,典型的信度類型是“編碼員間信度”。所謂編碼員間信度是指兩位及兩位以上編碼員就測量變量所達成的一致性程度〔14〕。研究者要以測量信度來展示所獲數據的可信任程度,如果測試的結果具有說服力,研究者可以進一步分析數據,否則數據不可靠,難以證明分析有用〔16〕。在不剔除偶然因素的條件下,一致性信度係數大於或等於0.80在所有情況下都是可以接受的。有學者認為,交互評分者或編碼員的信度宜達0.85-0.90〔17〕。內容分析法的編碼員間信度檢驗是測度不同編碼者是否能將同一內容歸入相同的類目中。不同編碼員所作歸類的一致性越高,文本分析的信度也越高;一致性越低,文本分析的信度也越低。編碼員間信度檢驗的計算公式和步驟如下:〔18〕
(1)求相互同意值:
相互比較同意值:Pi = 2M/(N1+N2)
M:彼此同意的項目數
N1:第一編碼員分析之單元主題數
N2:第二編碼員分析之單元主題數
(2)求平均相互同意值(P)
P=∑Pi/N
N:相互比較的次數
∑Pi全體編碼員間相互比較同意值之和
(3)求編碼員間信度(R)
R=nP/1+〔(n-1)P〕
n:編碼員的人數
以下說明本研究內容分析信度檢驗的要求和步驟:
1、編碼員文化素質不高、培訓不充分、編碼員疲勞等因素會影響信度檢測,選取編碼員時,我們主要考慮如下幾點:(1)綜合素質較高,在研究者闡釋後,能準確領會研究目的,理解各種主次類目的意涵及其具體指向;(2)能認真完成至少半個小時的測試;(3)耐心細緻,認真參加編碼員培訓;(4)其主修專業與本研究相關。
2、研究者隨機挑選了90年代版、九年一貫版、十二年“國教”版教科書各兩冊,共計6冊;每冊各隨機選擇15個分析單元,共計90個分析單元作為信度檢驗的抽樣文本。編碼原則如下:
(1)在一個分析單元中,如果重複出現次類目中的內容,該分析單元的次類目衹計一次;(2)同一次類目內容如果在不同分析單元出現,每一分析單元計一次;(3)劃計依次類目中的解釋說明進行,不限於說明中列舉的項目;(4)僅以教科書正文作為分析文本,序言、圖表中文字及所附說明文字,十二年“國教”版中的“酷知識”、“廣閱讀”,九年一貫版中的“放大鏡”、“想一想”,90年代統編版中的“注釋”、“作業”等欄目之文字不作為內容分析的文本。
3、研究者將“台灣地區初中政治教科書國家觀念主題類目表”和隨機抽中的文本發給四位編碼員審讀,闡明以上歸類原則和劃計方法,請編碼員就抽中的分析單元依照類目表的主次類目歸類與記錄。
4、四位編碼員就抽樣文本,依類目表歸類和劃記,根據上述公式計算編碼員間信度。本研究之編碼員兩兩間相互同意值如表2所示,平均相互同意值為0.77,編碼員間信度為0.93。
(表2:評分員相互同意值表)
|