違反學理的天下雜誌

本文發表於 2006 年 08 月 25 日 00:28

cw.jpg

天下雜誌,多年以來經常做一個「台灣各縣市排行」的專題。

排行的名目很多,有什麼「幸福感」、「競爭力」、「廉潔度」、「首長滿意度」、「光榮感」、「環境品質」云云。

例如,2006.09.01,天下雜誌推出一個「幸福城市排行」的專題(如右圖,取自2006.09.01的封面故事網頁)。

這些調查有的是以專家問卷,專業人士評估,這倒沒太大問題;但大多數的調查題目,是以「民調」的方式進行。天下雜誌所設定的題目本身並沒有大問題,也是重要的公共議題;但腦殘的是,這家雜誌別有居心地把各縣市最後得的積分(數字),竟然拿來做排名榜,它會告訴你,第一名是誰,第十名是誰,最後一名又是誰;它也會告訴你,雲林縣在某項調查去年是第10名,今年是第20名。

作調查並無不妥,但把調查後的數字,拿去「排名」,是一種違反學理的行為。

學過民調基本理論的人都應知道,調查母體不同,調查的結果就沒有比較、排名的意義。

日本首相小泉純一郎(Koirumi Junichiro)可以跟他的前一任森喜朗去比較數字;也可以拿2004年1月的小泉純一郎民調去跟2006年1月的小泉純一郎民調做比較。為什麼?因為調查的母體(日本國國民)是一致的,雖然每次抽樣到的調查對象不會一樣。

但是,日本從來沒有媒體做過小泉純一郎與石原慎太郎(Ishihara Shintaro)兩個人的施政滿意度調查的「排名」,因為一個是首相(調查母體是全國),一個是東京都知事(調查母體是東京都)。

日本首相小泉純一郎的民調數字,有跟美國總統布希(George W. Bush)去比高低嗎?從來沒有。也沒聽過有國際媒體去做全球施政滿意度前十大政治人物的排行榜,更沒聽過有「世界第一總統」這種稱呼,反而天下集團會編出「第一名縣長」這種稱呼。

道理很簡單,各國人民調查母體根本不同,去比較、排名根本沒有意義。時代雜誌是做過影響力的政治領袖排名,但它是以「地球人」做調查母體,著重的是各政治領袖在全世界的影響力;時代雜誌也做過「未來領袖」或「明日之星」的選拔,但選出幾十位代表人物,並沒有分名次。

又例如說,性幻想對象調查排名,調查男性心中第一名是林志玲(假設30%),調查女性心中第一名是金城武(假設20%);請問,媒體可以下標題,說「林志玲勇奪性幻想對象第一,金城武緊追在後排名第二」嗎? 當然不可以!兩項調查是分別獨立沒有交集的兩個母體。

天下雜誌就幹這種蠢事,而且幹很多年了。排名在前面的縣市長,喜孜孜地把天下雜誌內容引用到競選的文宣,或做縣市新聞單位的新聞稿。排名在後的縣市首長,有的會裝聾作啞,當做沒看到;也有的縣市長會指示屬下,務必在下次的調查能力爭上游(用什麼方法,就嘿嘿嘿了)。但就是沒有一個縣市首長指出這種排名根本是毫無意義,甚至是腦殘的行為。

我們也可以合理懷疑,天下雜誌製作如此排名專題,目的在吸引各縣市首長動用該縣市的新聞業務預算,到天下雜誌(或同出版集團的其他雜誌)去登該縣市的形象廣告,這些廣告甚至是特別製作的,Layout編排跟天下雜誌正常內文一模一樣,只會在某個不起眼角落寫上「專輯」或「廣告」字樣,讓一般讀者誤以為是正式內容呢。

天下雜誌既做裁判(登出排行名次),又接受選手的錢,甚至內部美編人員又幫選手做廣告,請問它可以做到公平嗎?

其實最該質疑的就是推出這些排行榜的心態。如果調查母體不同,這個排名就沒有正當性了;我很難理解,天下雜誌是號稱有許多傳播界專業精英的媒體集團,怎會不懂這個民調理論上的最基本原理?或許腦殘的不是天下雜誌,腦殘的是引用、傳播、相信這份排行榜的閱聽人及排名在前的縣市首長政治人物。

39 回應 針對 “違反學理的天下雜誌”

  1. Francis表示:

    調查母體不同,仍可做比較. 只是讀者解讀時要小心. 比方說調查各國消費者信心指數, 各國可做比較, 但其反應的是當地人的感受, 對經濟前景的信心. 各國政府可作為執政績效的比較之一. 但若要當成絕對經濟指標的好壞, 會有偏差.


    [站長回覆]:您的見解並沒有逸出我原文的觀點。

    各縣市滿意度可以調查,可以公布;但不應該把調查數字來做各縣市「排名」。天下雜誌集團就是拿來做絕對的排名,做絕對的指標。

    可以看我另一篇:托福平均成績與大學生英文程度無關。美國托福考試主辦機構,當然可以統計考生的各種分數,當然可以列出世界各國考生的平均分數,這都是真的,不是造假;可是,有台灣媒體把平均分數拿來排名(托福自己並沒有排名),然後宣佈台灣是亞洲倒數第四,然後結論是台灣人英文程度很差,這就白爛了。

    台灣的媒體可以做任何形式的調查,出來的分數可以討論,可以參考;但是「不該排名次的,卻拿來做排名」就別有居心了,簡直與詐騙集團無異。或可說是在謀取政治利益,向主子表態!

  2. ak47表示:

    > 樓上的 Francis,
    > 比方說調查各國消費者信心指數, 各國可做比較…


    偶也覺得您沒有讀到版主的重點耶!

    但是對於版主的”母體比較論”偶可以提個意見:

    其實母體不同也是可以比啦,但是定義要明確
    例如各國的GDP成長率,男女出生比率,雖然母體不同,
    但是透過比例方式消除母體干擾,所以就可以比了!

    因此,城市當然可以比,但是基礎要一致,內容要有意義
    例如: 以各城市的識字率,失竊率,平均薪資成長率,污水下水道連接率…構建成一個代表該城市的指標,那麼就可以比;
    但是請記得, 結論要下有意義的, 一定要與比較內容相關的!

  3. ak47表示:

    不過整體而言, 該雜誌把真的有邏輯錯誤:
    該雜誌把”幸福”分為下面面向:
    經濟力+環境力+廉能力+教育力+社福力

    先問一個問題:
    經濟力高就一定幸福嗎?
    如果這樣成立, 那不幸福的人經濟力就很低了?
    經濟力不能代表幸福, 幸福與個人感受有關係,
    經濟這個因素在幸福感覺裡是個相對因素,而且不是全部因素,
    有時候經濟反而是負面因素, 例如很多高薪的人,
    因為面臨很高的工作壓力,反而睡眠不足,健康不良,
    完全沒有幸福的感覺

    所以: 在不正確的前提下,推論出的答案,真的沒有意義…

  4. ST表示:

    遠見跟30是天下遠見集團 http://www.bookzone.com.tw/about/aboutus.asp
    的,跟天下雜誌集團是兩家不同的集團,一樣的是兩個集團做出來的排名榜心態都很相似,政治立場也很明確。


    [站長回覆]:這兩個,名字雖不一樣,都算是同一家人啦。

  5. ddmans表示:

    天下雜誌集團跟天下遠見集團是不一樣的公司喔~
    就我瞭解,天下雜誌集團包括天下雜誌、康健雜誌、Cheers雜誌跟天下雜誌出版,
    天下遠見則有遠見雜誌、30雜誌跟天下文化出版,兩家是不一樣的公司。
    天下遠見剛創刊時的確跟天下雜誌是同一家公司,但沒幾年就分家了,是完全不同的公司。
    正如明基跟宏碁一樣,你不會說兩家是同一家公司吧~
    站長大大如果有興趣可以再去研究一下~


    [站長回覆]:謝謝指教……

    雖然是不同名字,但看起來沒有競爭關係,都在互相支援。

  6. dj119119表示:

    天下雜誌看看就好,只想要騙錢,負面新聞不斷。

  7. Derek Hsu表示:

    學過統計的朋友一定會覺得陳先生說的話有道理,母體不同,你要怎麼拿來比較?這又不是客觀性的數據,而是經過人主觀任訂出來的結果,影響結果的變因太多,這樣的比較根本沒有統計上的意義(不過,有沒有政治上的意含就不得而知了)。

    其實,要比較這種各縣市快樂程度也不是不能比較。首先必需要把母體的項目固定,比如說,調查年紀在多少到多少之間,收入多少到多少之間,按人口比例抽取各縣市人數調查…諸如此類(不過這樣還是沒有什麼意義,因為就算能控制母體的變因,母體還是不同)。

    如果真的要在統計上做出有意義的比較,那就是對某一被調查者調查他對「所有」縣市的感覺,然後調查項目要包含該人員在該縣市居住的期間和瞭解的程度,這樣來做出的比較,才稍稍有點意義。

  8. Andrew表示:

    完全不能這樣比嗎?
    如果我要調查百大企業的員工,對其公司的滿意度,不能據此做出排名嗎?


    [站長回覆]:這種排名沒有人做。因為沒有意義。調查母體不同,去做排名就失去意義。你堅持要做,你就跟天下雜誌一樣耍笨。

    你的反問實在有夠腦殘的,就像在問我「吃屎可不可以」,你要吃屎當然可以,我不會攔你,不會阻止你,我只會笑你而已。

    調查母體相同才有意義。例如,全國同胞對百大公司的品牌印象度,是從同一群人去抽樣調查不同品牌,那就有意義。

    例如說,調查好爸爸,你給你爸95分,王文洋給他爸爸分數大概只有80分(這對父子間有些故事);然後,你能宣佈,你爸爸比王永慶好嗎?你要這樣講我也不反對啦,但就一個爸爸而言,我們外人都認為,王永慶可以給他兒子的,比你爸爸給你的,多得多,而且,你打分數的標準,跟王文洋根本不同。所以,我們外人不會理會你所講的,95大於80,所以做一個爸爸而言,你爸爸比王永慶好這種結論。

    再舉一個例子,2005年縣市長選舉,陳定南在宜蘭得票率是47.75%,吳俊立在台東縣得票率是59.18%。就數字而言,吳俊立高於陳定南。

    但是,有誰聽過「就當縣長而言,吳俊立比陳定南好」這種結論嗎?沒有。因為調查母體不同。

    天下雜誌就是在做這種蠢結論!

    不過,「就當縣長而言,呂國華比陳定南好」這種結論是有的,至少在2005年底那個時空的宜蘭縣,確是如此。呂國華得票率51.39%,勝過陳定南的47.75%,兩者調查母體相同,比較就有意義。

  9. WANG1967表示:

    凱劭大帝完全正確。
    如果你抽樣的母體不一樣要比較什麼?還自稱有水準的財經雜誌,呸!
    唯一可以做的,就是同一分問卷,在不同年分,自己比較自己的施政滿意度。
    例如,同樣這份問卷,台南市去年平均是75分,今年變成78分,這樣去比是有意義的。
    或者像是,台北縣在蘇貞昌和周錫偉主政下平均分樹有無異動(而且要Significantly Different)才有意義。題目一樣,抽樣方式要一致。

  10. Andrew表示:

    我是真的不確定才發問,你竟然指稱拜訪你網誌的讀者腦殘吃屎,
    第一次遇到部落格主人回應此種人身攻擊的文字,真是前所未見。

    無所謂,我自己想過了,而且我認為你此文的說法有問題:
    你把「要比較的命題」搞混了。

    你舉我爸和王文洋他爸的例子,
    可以比較「我和王文洋,誰覺得他爸比較好?」
    這和「我爸和王文洋他爸誰比較好?」是不一樣的命題,意義也不同。
    第一個陳述只要問兩個人的兒子,第二個陳述可能需要採訪大眾的意見。

    所以,再回到我的問題就很清楚了,
    我們當然可以比較「哪一家企業的員工,對其公司的滿意度比較高?」
    這和比較「哪一家企業,大家認為比較好?」是不一樣的。
    而且對想就業的人來說,
    第一個調查甚至比第二個調查要更有參考價值,
    因為第二個調查只能得到大眾的印象分數,
    而第一個調查才能反映身在其中的人的感覺。

    再回到天下的話題,如果命題確立為「各縣市的居民對該縣的評價」,當然可以據此做出排名,
    只是讀者要能瞭解,這評價含有主觀印象的成分,和當地民風也有關。
    而天下的錯誤在於,不該將這樣的調查,擴張解釋為「大家公認比較好」。

    前面還有提到,托福分數排名的話題。
    分數是個數據,大家考同樣的托福,為何不能排名?
    要排當然可以排,只是得到的結論會是「台灣去考托福的人,平均英文程度在亞洲是倒數第四。」
    這不等價於全台灣人英文平均程度也是這樣,但也會有某種關連性,
    只是未排除的變因太多,可以參考,但不用認定真的是倒數第四。


    [站長回應]:你回去看你的問題吧,你的問題就是把天下雜誌作法講一遍。我該怎麼回答?除了叫你再重看原文一遍外,還能有什麼回答?

    質疑不是加個問號而已,那是沒有力量的質疑,那是腦殘者的質疑,所以講你腦殘只是恰如其份而已。

    質疑應該提出論述,或提出證據。

    我並沒有像你講的「要比較的命題」,我原文重點是「不同母體調查,沒有排名的意義」,你沒有看到我文章重點嘛。

    「你對你父親評價+王文洋對他父親評價」是「不同母體的調查」,所以沒有排名的意義。

    「社會對你父親及王永慶誰是好爸爸的評價」,這是「同母體的調查」,這個排名有意義。

    台北市民對台北市長滿意度可不可以做?當然可以;可以二十年連續調查台北市長滿意度。市民對當時市長滿意度,調查母體是一樣的。

    但是,台北市民對台北市長滿意度,與屏東縣民對屏東縣長滿意度,兩者完全沒有比較排名的意義。這兩者調查母體不是不同的。

    天下雜誌把不該排名的作排名了,並賦與價值判斷,這根本是政治操作、政治收買了,而不是監督政府、引領讀者。

    這種排行榜簡直可以說是「造假」了(把不該排名的拿來排名)。

    最後,你對天下的排行榜留那麼多但書,無異於否定該排行榜嘛。

    托福考試主辦單位,並沒有把世界各國成績列出排行榜。他們不腦殘,他們深知排名根本沒有意義。

    排名的是台灣的詐騙媒體排的,腦殘的結論也是他們下的。

    那些媒體其實沒有你想像的笨,而是有計劃地造假作騙!

    詐騙集團、魔術師要騙你是他們天職,就看你有沒有慧根去辦視。

  11. 人的一生總是有些時候會跳入腦殘狀態,進而提出腦殘問題。 (詳見史考特亞當斯著”呆伯特大未來”)

    不過被人指稱這個問題很腦殘 (上一個世代的用法: 這個問題很蠢)進而可以推論成自已是腦殘,大概就真的是果人(一樣是史考特亞當斯著”呆伯特大未來”)等級的了。


    [站長回覆]:天下雜誌是戒嚴時期的媒體人及學者創辦的。那個沒有言論自由的年代,媒體人與「常在媒體現聲」的學者,全是與獨裁者站在一起,甚至是獨裁者豢養的。

    舉例而言,天下雜誌至今還在吹捧戒嚴獨裁時代的經濟官僚;幾乎已經到詐騙的程度。

    例如孫運璿,一直到最近還在小妹大節目,引用天下雜誌說他只領120萬退休金(一次領),兩袖清風。

    老實說一個幹過院長級(僅次總統)的人,一個當過部長、國營事業總經理的人,退休金只拿120萬我是不相信的,台灣的軍公教退休制度並沒這麼魯肉腳,即使是孫某1984年中風那個時間點,那個時間點一個鄉公所小職員的退休金都不只那個數字。

    但這還不是重點;天下雜誌沒告訴你的是,孫某從院長退下來後,被冊封為「資政」,這是院長級薪水(一個月20-30萬),600坪豪宅(地價約6億,若換算成租金一個月約300萬)讓他住到死。這種人生前受納稅人一個月數百萬供養,卻一直強調一次只拿120萬退休金,再說兩袖清風,這不是詐騙是什麼。

    從這件小事就不老實,該出版社的孫運璿傳記不曉得還多少唬爛美化誇大的,或侵吞別人功勞的。例如孫某終戰後來接收台電,明明日本技師有被陳儀的長官公署留用,而且是戰後台電重建的主力(這些設備就是他們裝的,本來就他們在維護的,他們當然是主力),這些人一直到1948才陸續引揚。孫某傳記裡這些日本人全不見了,天下雜誌洗腦洗得很成功,很多弱智腦殘台灣人甚至以為台電是孫某無中生有創辦的。接收的人有功勞苦勞,還是創辦的人有功勞及苦勞,只有白癡會以為是半路接收的人。

    李登輝、陳水扁也受納稅人供養,實際來算數字也驚人,但這兩個人從來不會靠夭叫窮,或靠北說台灣人民欠他。

  12. JAMES表示:

    照你這麼說,全天下的學生成績排名,城市競爭力排名,財富排名也都沒有意義嗎?他們的母體都不一樣。不符合學理並不就代表不合理吧。


    [站長回覆]:一個一個來

    1.全天下學生成績排名:請問你有看過全國的國中生「在校」成績總排名嗎?從來沒有這種東西。至於聯合性考試(指考、推甄、聯考、會考等等),考生在同一天,同一份考卷,當然排名就有意義了。

    2.城市競爭力排名:如果是同一群專家學者,針對不同城市做評鑑,調查母體(評鑑者)當然是一樣的一群人。注意看我原文,天下雜誌評鑑的方法,是去抽樣問各縣市的市民。而且,台北縣的評鑑問台北縣民,台東縣評鑑問台東縣民。各做各的也沒啥不對(台北縣民當然不懂台東縣做得如何),錯就錯在,最後做出來的數字,雜誌去排名!而且告訴你,分數高就是優秀,分數低就是差。

    3.財富排名:財富排名是同一群財經金融專家記者針對各有錢人的資產、繳稅表現、公司營收去做評估。注意喔,打分數的,是同一組人。如果,打分數的是不同人,這種調查就沒意義了。參看以下的舉例:

    例如說,我們來做個台灣富豪慈善指數排行榜。然後呢,郭首富台銘董事長的評分表,我們交給最近很紅的梁朝偉評分(我看郭董可能被打零分);王永慶董事長的評分表,我們交給雲林麥寮六輕附近被污染的居民評分;蔡萬才的評分表,交給新光人壽老闆去評分;張忠謀的評分表,我們交給曹興誠去評分。如此這樣亂找不同的人去評分,最後的分數根本沒有意義。

    看來你眼睛近視不輕。我講的是「評鑑者評分者應該同一母體才有意義」,你卻跟我扯一堆「被評鑑者不是同母體」,被評鑑者本來就是不同的個體啊。

  13. 大盜表示:

    樓上的,照天下那個調查方法做出來排名,本來就沒意義。
    你是有沒有唸過統計啊?城市競爭力只有是調查那個城市的居民,自認自己有沒有競爭力來比的嗎?這個就是天下這個爛統媒的邏輯啦!國外的學者在做全球的排名,根據的指標是很多的。
    排名是給同一母體內才有意義啦!就像你拿A校第一名甲和B校的第十名乙,然後說第一名比第十名好,於是甲贏乙,有意義嗎?但如果你拿A校第一名丙和A校第十名丁來比就有優劣了。這樣你還聽不懂嗎?

  14. 站長表示:

    其實我寫這家雜誌違反學理,已經算客氣了。

    依我來看,這種媒體並不是學養不足,也不是經驗不夠;簡直是存心要詐騙讀者,對讀者洗腦了!如同他們在戒嚴時期,為獨裁殺人魔服務一樣!

    例如,這家雜誌媒體跟統一報、大陸時報一樣,也有在做政治人物支持度、聲望調查。

    照理說,針對「選舉」所作的民調,其終極目的只有一個,就是模擬最後選舉真正結果。
    如果做候選人民調的目的不是這個,那就別做了,別公開了。

    我當然可以接受,選舉民調有技術性的誤差,就像風颱氣象預測,難免有誤差或不準。

    可是,這些媒體做的選舉民調,不準不是一天兩天了,而是十幾年如此了。

    每次選舉結果揭曉,這些媒體不但不檢討,不但不會因民調嚴重不準而羞恥,反而倒過來質疑是不是當選人有作票(自古以來只有國民黨會作票,偏國民黨的選務人員怎可能幫對手作票)、自導自演槍擊案、公投綁大選(公投跟大選一起辦有啥不對,美國瑞士幾十年來都這樣)。

    經過十多年的選舉民調操作經驗,這些媒體總該知道如何去調整加權指數,如何去克服民調盲點。選後發現有嚴重誤差(例如,謝長廷選台北市長的民調是20%,實際得票漲兩倍42%)。再怎麼白癡的人,都知道該怎麼去調整。

    這是這些媒體依然故我,繼續用假造的民調(每次都不準,當然等同假造)在詐騙。當自己報紙雜誌的頭條封面。

    詐騙集團騙人是其天職,我反而先怪不怪。

    痛心的是,台灣還有一堆笨蛋腦殘讀者,會相信它。這才是最可悲的!

  15. Jean表示:

    站長說得是。
    有一年我參與教育部全台各縣市教育評鑑,因此對各縣市的教育有相當程度的理解。
    結果同一年天下雜誌發表各縣市長施政滿意度排名,其中有一項是教育滿意度排名。天下排名的結果,跟我看到的一些實證資料顯示很多縣市的排名真的很離譜。例如,我們一群相同的大學教授看過所有各縣市的教育資料後,評出來是第三名的縣市,在天下的排名居然是最後一名。而倒數第二名的,居然是排名第一。
    看了不止覺得恐怖,還有無限的憂傷。
    台灣這美麗的地方,為何要受如此的對待。

  16. You Eric表示:

    現在很多都是拿來騙騙一般大眾而已,別太認真。認真你就輸了!當然,我不是講入聯公投,那是真的有用心的,不只是騙騙一般大眾而已

    另:15分鐘可改內容的功能還滿人性化!看來小弟(不只)哭肉垮文

  17. Jerry表示:

    同樣的道理,由於「評鑑者」的母體不同,總統選舉時比較馬英九和謝長廷在市長任內的施政滿意度也沒意義了嗎?也許真的沒意義,因為謝長廷的確在高雄市輸給馬英九。進一步說,對於謝長廷在高雄市輸給馬英九也沒什麼好感到不平了。


    [站長回覆]:謝馬兩人比自己執政直轄市的滿意度確實沒意義;但馬扁兩人在台北市執政的滿意度比較是有意義。

    而謝馬兩人在高雄市的2008總統選舉得票率比較,當然也是有意義的。

  18. hotbrian表示:

    我想還是有讀者沒辦法抓到重點,我這樣做個比喻好了
    作個調查百大企業的員工對其公司的滿意度,來作排名
    這樣的調查結果當然可以作排名, 但是排名出來的結果顯示的只是純粹各企業員工主觀的對自己公司滿意度的高低
    但是拿這個排名來代表各企業的營運績效就很白爛了
    白話一點就是某企業員工對公司的滿意度可能很低(老闆很機車,福利還好, 工時很長),但是這個企業很賺錢(績效好)
    另一個企業員工對公司滿意度很高(老闆和藹可親,福利一般, 上班時數短,工作氣氛佳),但是這個企業沒什賺錢(績效平平),所以你不能把這個滿意度調查結果用來說滿意度高的企業就優於滿意度低的企業

  19. 膺懲暴支表示:

    hotbrian這樣的比喻亦有不合邏輯之處
    員工對公司滿意度
    當然有包含薪資所得在內
    公司賺錢 員工才會多賺錢
    所以員工對公司滿意度還是與公司營運有正向關係

    天下雜誌的調查另有一個盲點
    就是無論是什麼題目
    到最後變成知名度調查
    新竹市的市政乏善可陳
    也沒什麼創意
    好的硬體建設是蔡仁堅打下的
    可是新竹市長林政則在各方面的分數都是全國前三
    原因在於這位市長勤跑基層
    幾乎新竹市長婚喪喜慶他一定到場
    沒發帖子給他他也去
    他有全市里長幫他通報
    也因為新竹市小 只有30萬人口 幅員小
    他才做得到
    新竹縣是新竹市面積30倍
    新竹縣長就難做到全縣的紅白場子全到

  20. 大俠表示:

    哈哈~從總爺國小的文章回應中被引到這篇來!
    這篇真的寫的太好了!!!!!完全說出我心中多年的看法!
    應該要轉去給天下雜誌!!讓那些自以為精英的編輯群知道這樣做多腦殘~
    而且他們還以為讀者會跟以前民智未開時ㄧ樣腦殘下去!
    該給他們警惕一下!

    每ㄧ次的民調大調查還真的是從各縣市政府那邊A到不少錢!
    從廣告量就知道~~
    不得讓人家合理的認定這是ㄧ種包裝完美的敲詐行為~~

    而且說啊~
    跑跑紅白包民調就會高~那台灣還有什麼希望???

    所有民選出來的縣市長只要成天做些討好選民的事情~
    跑跑社區活動 跑跑婚喪喜慶
    依照台灣人”見面三分情”的性格,民調就會高!!
    所有的基礎建設誰來作??
    我看應該早日廢了這種無意義的排名,
    讓縣市首長好好做做事情,不要成天討好選民


    [站長回覆]:把我這篇送給這家媒體看,依我看是一點效果也不會有。

    我點出的理論很簡單,以他們的學經歷不可能不知道,但他們做這種排行民調還樂此不疲,不但年年都做,還每一季都做,甚至花樣(評鑑的題目)起想越多。

    他們的層次可能不是「無知」,而是「刻意誤導讀者,以行政治目的了」了。

  21. 回違反學理的天下雜誌表示:

    因為看到這訊息,忍不住來講。

    你的學理依據太簡單,我想你沒學過統計或只是有點基本入門知識,對測驗方面也不是很懂。況且,從名義、順序、等距、尺度的觀點來看,統計學已經有75%允許排名,而一般實務上是超過9成情況允許排名的,記住,統計是一個「數」。

    1.如果從母體來源來看,似乎你的立論認為「台北縣的評鑑問台北縣民,台東縣評鑑問台東縣民」沒有什麼問題,但是拿去排名就有問題。從這邊應該要從所謂的需無假設與對立假設的邏輯下去解釋,但我稍微把它分解。

    1-1假如施政者的政績會影響一個城市人民的競爭力或幸福度感受等,那麼會影響他們的作答情形。
    1-2每個人都做同樣的問卷,都是台灣人。
    1-3不一樣的是實驗情境,也就是「縣市」。

    所以它可以同理簡化為,一個國中的所有學生,隨機打散分配到不同的班級,假如老師教的好,那麼期中考的平均分數為比較高。因此,每班的平均數可以拿來比較,並且排名,作為老師教學績效的指標。

    這也能從ANOVA變異數分析的觀點下去看。事實上,「母體沒有不同」。

    2.不同群體之間的分數拿來比較是有方法的,比較簡單的方法有:
    2-1假如每個群體原本是接收不同的評比,並得到一個觀察分數。
    2-2兩個群體隨機抽樣都做同一份測驗,並得到一個觀察分數。
    2-3用百分等級的方式做分數的轉換。
    這樣即使是兩個不同的群體也能拿來比較,並且能夠排名。
    重點是他們在同一份測驗(問卷)的作答情形要有。
    「只要有施測過同一份測驗,基本上比較是沒有問題的。」
    或是被證明是複本測驗的。

    3.事實上,在托福的案例中,你從各國總人數比例去質疑參與考生的性質是對的。
    3-1但這問題不是不能解決。
    最基礎的只要去看他們的變異數,就能知道他們的群體差異是同質或異質,是精英或是常態。
    3-2於是,只要加入變異數,做F檢定等,就能從平均數去做比較與排名。
    3-3但就你找到的資料沒有包含這數據,所以托福本身沒有排名是對的,記者拿去排名的確是錯的。
    3-4而且從中央極限定理來看,平均數除以根號n的公式,亞洲除了新加坡,其他人數都不會造成多大的誤差問題。


    [站長回覆]:你沒有說服我。

    你我最大的差異在於,你認為遠見天下他們針對不同縣市居民做的是同一份題目。

    而我認為是不同一份題目。例如,對台北縣民做的題目是「周錫瑋」,對台中市民做的題目是「胡志強」。天下與遠見雜誌早從十幾年前就在大放送「陳唐山是第一名縣長」這類的標題了。就像建中甲生英文期中考65分,雄中乙生英文期中考85分,要問我誰英文比較強,我的答案是不知道;兩人考題不一樣。

    這家媒體當然不只做「人」的滿意度,也有做其他的「感受」的指標,但是此媒體最後會把分數高的縣市,榮耀歸於縣市長一人。

    就學術研究,任何數據都可以並列比較;但這家媒體是在結論時給予「絕對的排名」,去捧紅某些政治明星,這是我無法接受的事。

  22. 回違反學理的天下雜誌2表示:

    我沒有必要說服你,真或假不會因為你個人的想法而改變。
    但我有義務陳述事實,那就是你沒有學過統計,也沒有學過測驗(至少很基礎)。

    況且,你意識形態優於學理的,這就跟信仰一樣;
    每個不同的信仰相信不同的真理,然真理在宗教之先,信仰之前。

    我丟出的質疑跟你回應的反駁,給有學過的人看跟沒學過的人看會有不同的見解。
    只要你有度量不刪文就好。

    你要說捧紅,也說不定其實是人的劣根性。
    媒體可能沒有特別想達到什麼效果。
    就好像說前一陣子說喝豆漿會造成精蟲數下降,
    男性自然會降低買豆漿的消費慾望。
    (當然你也能想像媒體跟討厭豆漿廠商的人掛勾)

    如果會特別預測後果,或期望達到什麼效果,
    這個叫做「後果效度的評估」,
    也就是說,評估公佈某一資訊所可能造成的後果影響。
    但這方法不在討論之內。
    目前討論的是統計與學理。


    [站長回覆]:你認為這家媒體針對不同縣市首長滿意度的民調,算是同一個題目,這也是一種意識形態。

    至少,我在美國的媒體,從未看過有拿布希(總統)與阿諾史瓦辛格(州長)的施政滿意度做排名。也沒看過不同州的州長,在做滿意度排行榜。

    在講滿意度時,我頂多看過同一個人(例如阿諾)在三月前、一年前、二年前的數字排行,或者跟他前一任(被罷免的那個)去比數字。

    馬英九的滿意度與李明博滿意度有人拿來討論,但我就是沒看過亞洲的媒體提過馬英九是亞洲第八,李明博是亞洲第十五這種報導。

  23. 回違反學理的天下雜誌3表示:

    「你認為這家媒體針對不同縣市的民調,算是同一個題目,這也是一種意識形態。」
    關於這句話,笑笑就好,不予置評。

    但我所知道的民調,在美國文化、法律與台灣不同,光是州與州之間的種族構成可能就很迴異。一些敏感性議題會考量所謂的後果效度,選舉議題可能包含在內。當然,我沒有去找相關法規資料,應當有相關規範。

    例如,就我所知,美國的測驗公司興盛,民調也是由私人企業進行的,台灣較無測驗公司,民調多數是由新聞媒體或政黨提供。多數情況,在美國這些資訊會作為企業財產,就跟研發部門一樣,作為企業競爭力的來源,也作為政黨的智囊做選舉戰略的佈局。所以不公開是有可能的。或可能僅能公佈某些允許的調查。

    但是,美國國家會有一些對州的評比指標,也就是施政要求與達到的施政績效,作為觀察分數,並做州之間的評比提供給人民。這工作就是由國家統一負責進行的,換句話說,美國不會由媒體公佈民調,但會有個政府的施政績效指標。

    例如州測驗,教育改革法案把州與州之間的辦學績效,或是測驗分數做評比,當作州競爭力(可以排名的)。
    http://www.tw.org/newwaves/64/6-1.html
    (美國對教育投入很多經費,因為他們認為那是投資人力資源的培養)
    也會間接影響父母為一個良好教育環境,而造成人口移動的後果效應。當然,要說州長怎樣怎樣的施政如何,要改進也是很合理。這可以視為一種考核與績效壓力。與民調不同的是,民調最簡單解釋就是稍微計算人民的意見。這種對州的評比指標就比較類似我們台灣大專院校的系所評鑑,唯不見得由委員評比,如剛剛的考試分數也是評比之一。

  24. 大盜表示:

    樓上的:
    你舉的州評比指標和天下所做的民調評比根本是兩回事。不能類比。
    前者有完整的預算補助,統一的評比標準如果拿來做施政績效比較是ok的。
    但天下的這分民調則是一些『感覺』調查的『排行榜』。
    它有幾個問題,就是站長講的感覺量化再做比較是無意義的事情。對同一個被測對象每年滿意度的昇降還有一點參考價值,或者是前後任的滿意度(同一分問卷)比較也還ok.但是那不同縣市首長做滿意度調查排名,那是一點鳥意義也沒有。

    >況且,你意識形態優於學理的,這就跟信仰一樣;
    >每個不同的信仰相信不同的真理,然真理在宗教之先,信仰之前。

    還有這種話你最好少講,我也可以講你上面這段文字其實就是有意識形態,否則不必急於替這種違反學理的民調辯解。

  25. 路人甲表示:

    借轉個人部落格 謝謝
    http://moneystory-tree.blogspot.com/2008/08/httpblog.html

  26. 經過的路人表示:

    在google上查東西不小心路過的^^!…..
    雖然有點久了,但還是回應一下,
    看了一下那位”回違反學理”的論點,還真是…..Orz
    講的很學術,
    但那個國中生測驗例子根本完全不對,完全不能類比,
    一個是有標準的測驗卷,就是所有學生而言,測試的標準是固定的,
    有試卷對錯分數的絕對值,
    但現在天下做的民調排名,就像是每班老師各自教各自的,然後各自出小考題目,
    各班題目各異,然後你說依照各班的小考分數排名就是老師的好壞排名…..Orz
    (不要跟我說天下的調查問卷跟有標準對錯的試卷一樣,是有絕對的標準答案,
    照你的說法,只要發給全世界人民一份同樣的問卷,
    就能做出全球領袖的滿意度排名啦~~~
    還真希望哪家有見地的雜誌做這種事勒~~~)

    有些人明顯是自己意識型態比較重,
    卻隨便就扣人家有意識型態的帽子,
    跟只要提到族群就說是分裂族群的人一樣,
    講些文謅謅看似專業卻無實際內涵與重點的東西,
    實際上卻又拼命的貶抑別人,
    台灣還真是充滿這種令人受不了的中國文化……
    (抱歉,路過也不清楚站長立場,提到政治,只是有感而發….)

  27. 豪哥...表示:

    台灣的民調看看就好 別人是”蓋洛普”民調 到我們這邊就變成”蓋離譜”民調啦…

  28. oMe表示:

    讀過數篇站長文章, 肯定站長發表自己的見解的初衷, 社會的確真真假假, 消息釋放也必有其目的. 建議站長對於專業方面(以本篇來說就是統計學)再去補足會更好, 避免讓文章流於意識, 缺乏學理, 不夠全面. 謝謝.


    [站長回覆]:只要是人就有意識形態,人有意識形態正是人與動物的最大差別。我的文章有意識形態,你的文字當然也有意識形態,都很自然正常啊。我搞不懂「流於意識形態」是啥小意思,就像我不會指責「你怎麼會呼吸」一樣。

    再者,本人文章觀迎提出任何指正,或者明示錯誤在哪裡(包括名詞的使用及邏輯的推論);我都歡迎,也接受挑戰;我比較喜歡的是直接提出錯誤之處,而不是僅僅「質疑」。

  29. 酷兒派翠克表示:

    其實真的嚴格來說, 除非我們做longitudinal panel study, 抽樣同一群人, 然後一直追蹤調查, 而且用同一式標準問卷, 我們才能真的去比較”馬扁”他們在台北市長任內時市民對於他們的施政滿意度。cross sectional study 這種驚鴻一瞥式的調查或研究本來就有其限制, 就算是同一份標準問卷, 不同樣本就是不同樣本, 樣本具代表性是指透過樣本資料所計算出來的”估計值”具有代表性, 但是不同時間點的樣本就是獨立樣本, 即便要去比馬扁也不見得是可以的

    感覺,態度,意見都是可以被量化測量的,不然的話, 這個世界也不會存在著心理學這個學門 (當然,精不精確是另外一回事)

    我同意站長的基本論調, 該雜誌的不同縣市的人民對其地方政府的感受的調查結果是不能相比較的,

    因為

    1.
    即便我們是隨機抽樣”台灣人民” (如”回違反學理的天下雜誌”所言), 但我們並不是所有人都是隨機住在我們所住的縣市的, 不管是求學,謀職, 或是像豬哥亮那樣地躲債跑路, 這個居住地的選擇過程是受到很多結構性因素影響的,

    2.
    該雜誌處理資料的方式是非常簡單粗淺的統計方法, 所以不可能符合且達到一個可以被比較的嚴謹程度

    但是

    我倒不同意說這樣的題目是不能比較的, 就我所知, 還是有其它更嚴謹的研究方法可以收集到代表性的資料且具備比較的學理基礎。

    基本上”回違反學理的天下雜誌” 所說的”不同實驗情境”的比喻是對的, 我們可能可以用matching sample 的方法去收集二個社經背景近似的樣本, 用來matching 的條件越多, 二個不同樣本的相似性越大, 然後接下來還可以有其它步驟,我就不再丟學術名詞了, 這裡只是想說, 縣市民調不是不能比(要比還是有其推論的限制), 只是說要花的功夫和$$不是這種普遍可見的民調可以比的, 這也是美國蓋洛普,台灣蓋離譜的原因之一


    [站長回覆]:不同縣市的首長的滿意度,拿來做比較、研究、參考、引用,那當然可以。

    但拿來「排名」就不對了。「排名」這個動作就是把那些數字來做絕對的高下比較。

    這是沒有意義的事。

    陳唐山在這家雜誌的調查,曾經是第一名縣長,這我認為一點意義也沒有!周錫瑋是這家雜誌調查最後一名的縣長,這我也認為沒有任何意義!但周錫瑋去跟尤清、蘇貞昌去比才是有意義的。

  30. 失溫魚表示:

    連我這個學歷低低的小百姓
    經站長一語道破
    我就明白天下出了問題、耍了什麼伎倆…

    排名 的意義是什麼?
    不外乎是強調優劣性…

    阿里山森林和七美海岸哪一個比較算是幸福環境?
    天下抽樣的對象都是問海生族群
    這時的排名就是有意義的……

    但如果天下抽樣的對象是阿里山的松鼠和七美的螃蟹…
    抽樣結果是有效統計,但排名就沒意義…

    希望這麼低智能的舉例
    能給樓上各位充滿意識形態的天下人
    稍微明白差別在哪~

  31. feynmanw表示:

    看了上面的留言,心想這真是一個可以在課堂上講解的教材。
    事實上,母體不同能不能比較,就統計上來說,當然是可比較。
    如有位網友提出的ANOVA的方法。很可惜天下應該不是用這種方式來分析,
    因為這麼多的縣市調查完,作完ANOVA之後,肯定還要來個「事後比較」,
    根據我以前分析的經驗,結果一定會有一些縣市是不分上下的,即使調查出來的分數上有差異。

    我的結論是
    不同母體是可以比較,但天下用的方法不對,其結論就會是錯誤的


    [站長回覆]:要做學術研究,不相干的任何兩個東西當然都可以比較。

    非洲奈及利亞總統官邸裡某棵樹幹的甜度,與虎尾糖廠公園裡一顆觀賞用的甘蔗的甜度,廢話當然可以比較啊,而且是很科學、很精準的比較呢!只是這種比較毫無意義。

    天下雜誌豈止比較而已,他還做「絕對的排名」。

    再說一遍,各縣市首長當然可以做滿意度調查,也都可以公開,放在同一頁報告內也可以!但是拿來「排名」就不對。

    我也不認為是分析方法的問題,是根本不該做的排名。紐約時報、時代雜誌從來不會有「世界第一名的總統」這種名詞,但台灣的天下雜誌可以隔空抓藥創造出「第一名縣長」這種名詞。

    最恐怖的是,天下雜誌做這個調查,可不是在給各縣市選民做參考,而是拿來向各縣市政府勒捐形象廣告賺廣告費啊!

  32. feynmanw表示:

    格主所言,我十分同意
    這個排名真的是很有問題,只不過對不懂統計的人真的是很有說服力啊,
    另一個最莫名其妙的M型社會也是,大前研一,在圖裏搞鬼,弄個M型社會的說法…
    還是一堆人相信啊…我會把天下這個例子拿到課堂上來說…
    看看大學生能否跳這種騙局

  33. nXion表示:

    天下雜誌的作法:
    AAA國小一年級成績,BBB高中三年級成績,大學補習班模擬考成績,CCC大學數學系,DDD大學法律系,高普考...
    以上不同母體作成績排行,一點意義也沒有,是這個意思嗎?

    那這邏輯應該也不難理解,田徑隊,F1賽車,兩者成績排行;證明田徑隊很爛.


    [站長回覆]:天下雜誌並不是笨蛋,他只是在詐騙。真正的笨蛋是,被天下雜誌愚弄的讀者。

  34. 布布表示:

    站長你好
    如果單就統計學看來
    您所謂的觀點的確有其道理!
    因為既然要比較,就應該採樣等變因是一致的…排除其他可能因素,單就一因子來剖析,作出評比~
    不過,若以整體看來,您這樣的論述其實並不全然亦不完整…
    您或許忽略民意調查本質以及其設定之假設命題或架構題目了!
    畢竟您只是採用經濟學分析架構下,排他取一等等的單因統計…
    但這涉及實驗操控或類實驗控制的方法…
    再加上理性抉擇論固有的弊病,所以當然有其疏漏與風險~
    若將如此微觀論點誤當宏觀論點,全面要適用在任何比較調查之上,可能就不是那麼貼切囉!

    就此方面,請站長您再多深思多做調整…

    另外,我認同Andrew所言,
    身為部落格主人的您,若對於回應是採取如此尖銳犀利又諷刺的人身攻擊字眼,真的是不大有氣度…
    不管回應或提問的立場是與您相同或是相反,我們應該都要有接納別人發言以及觀點的雅量…
    或許您必須考量的是,他可能只是真的不了解或想釐清什麼,才提問的!
    就算他可能就是跟您立場不同,反駁您…
    您當然可以捍衛自己的論點,試圖再駁回其意見,或是選擇與之討論,修正或補強自己的論點!
    但無論如何,我覺得不太適合如此人身攻擊別人,或是就與議題不相干的方面攻擊對方唷!
    如果你堅信自己的理論(您的觀點當然有其正確與道理),
    那麼您應該也要有可以為自己理念辯護的能力…
    但是這種辯護,是指:就議題、立場、觀點、理論等方面的合理化自己、反駁他人...而非無限擴張的謾罵或挑釁`

    以上,是提供給版主的一些建議~
    很高興版主提供統計學觀點反駁民調排行的謬誤,令我有令一番的思考…也有機會能在此與您討論~

    當然希望我這篇對您似乎有點刺耳的言論,不會又招來版主對我的負面評語與回應…
    謝謝


    [站長回覆]:我這篇文章寫完後,隔年(或隔兩年)遠見天下集團就不再用絕對的分數去做各縣市排名。

    改用「幾顆星」去評價縣市長。是還有分出高下,但界線模糊了,所有縣市長就分幾個群組,不再是以前從第一名排到第二十幾名。

    天下遠見雜誌改變了縣市調查的結果,不敢說是我的功勞,但至少他們也該發現他們以前那一套越來越騙不了讀者。

  35. Chou表示:

    站長的說明很清楚, 要理解一點也不難, 這跟懂不懂統計學沒有關係. 以一個iPhone4的使用者來說, 我不用先會天線理論才可以討論它的收訊問題.

  36. 唐文瑞表示:

    同學:
    看到你的部落格,很高興!
    您的意見深得我心,
    文章也寫得很好.
    請繼續努力.

  37. 第三類組路過表示:

    版大您好:
    看過本文、留言與回覆後,雖然有不少較為專業的術語看不太懂,我個人倒還滿贊同您的論點,只能說真理應該就像這樣越辯越明吧(比現今很多的爭論好很多了),謝謝您的精闢分析

    惟關於天下雜誌的部分有點小疑惑,照您的語氣說詞看來似乎該雜誌不具可讀性?
    但該雜誌不僅得過一些獎,在民眾的評價好像還是依然不錯?
    是不是只有民調等統計相關的部分較為無意義?
    (沒有常常follow天下雜誌的文&抱歉似乎有點歪樓><)

發表回應

留言內含URL、廣告字,會被系統視為廣告而扣住不顯示,請待站長解除。
留言涉私密請直接寫email給站長

本Blog其他隨機文章(五篇)