Ragic 部落格
企業電子化的專家 Ragic 教你如何利用各種軟體、
雲端服務讓公司快速升級!
加入 Ragic 企業電子化的行列!
雲端工作術
各類應用示範
案例故事
逃離惡夢
關於 Ragic
Facebook X YouTube
雲端資料庫
部落格
關於Ragic
雲端工作術
各類應用示範
案例故事
逃離惡夢
關於 Ragic

英國少算 1.6 萬新冠肺炎確診者,Excel 惹禍

作者:Lillian Huang

關於「把 Excel 當企業資料庫用」造成的各種災難,我們過去已經說了許多,不過今天又有一個新出爐的血淋淋案例:英國政府誤用 Excel ,導致漏報高達 1.6 萬筆新型冠狀肺炎(Covid-19)確診數、造成疫情被低估甚至延誤相關措施。事關現在全世界最重要的疫情管控議題,值得好好來討論一下。

先摘要一下:

  • 這次的苦主:英格蘭公共衛生部(Public Health England,簡稱PHE),英國衛生部下設置的政府疾病防治機構,也是英國此次因應疫情的重要機構。
  • 發生了什麼事:PHE 誤用 Excel 導致英國大幅度漏報新冠肺炎確診數。PHE 週日(10/4)承認因為「技術問題」導致先前少算了整整一週總計約 1.6 萬的確診病例,而包括 BBC、衛報在內的多家媒體直指元兇就是 PHE 用來統整確診資料的 Excel ——資料總數超過 Excel 資料筆數上限後就沒有被存入、也沒馬上被發現,導致數據誤判。
  • 兩大後果:① 英國整整一週低估了確診數,原先看似趨緩的疫情數字其實仍在上升。這樣的錯誤嚴重起來會誤判情勢。② 因為政府 Excel 檔中的資料漏失,延誤通知了應隔離者,被在野黨政治人物痛批「置人民性命於險境」。
  • 事情是怎麼發生的?

    我們在各大媒體或 WHO 等官方管道看到的每日疫情統計,主要是由各國政府官方通報而來。英國政府確診數據來源主要是英格蘭公共衛生局(PHE)。根據 BBC 的報導,由於檢測工作交給外部機構進行,外部機構會將大量的檢測結果以 CSV 檔案的格式交給 PHE,此時資料並沒有問題。

    但 PHE 拿到原始資料之後,無法直接原封不動發出資料,需要經過一些統整——得彙整不同檢測機構的資料、整合格式等等。在公司、組織裡曾經負責統整過資料的人,應該很能懂這情境。

    此時,他們選擇了最常見、大家最熟悉,在此情境中其實也最危險的工具 -- Excel,寫了一些自動化流程,讓他們收到的 CSV 檔自動被統整到 Excel 工作表中,然後再將此份統整 Excel 的資料上傳到內部系統中。

    問題就出在 Excel 這一關:儘管有自動化流程省去純手工複製貼上造成的痛苦、麻煩與貼錯的機會,但最終仍然出錯了,因為 PHE 用的是 Office 2007 以前版本、 xls 格式的 Excel,這個舊版格式單一工作表的資料上限是六萬多列(65,536列),當工作表裡儲存的資料超過此列數時,下方就無法再存資料,而外部檢測機構不斷匯入的檢測資訊超出這個數字,造成了最終統計確診數的漏失,而且問題顯然沒能馬上被發現。

    PHE 在 10 月 2 日發現這個問題,此時他們已經漏算了 9/25 到 10/2 整整一週的確診數字,總計足足少算了 15,841 個確診數。從這篇報導中的圖表可以看到,原本這一週公佈的新確診人數約在每日六、七千人之間,且看似曲線趨緩,現在把漏算資料加回來,原來 9/28 之後單日新確診數突破八千大關,十月之後甚至破萬,這是疫情以來新高。在大家每天看數據評估疫情的時候,錯誤的數據可能會引來怎樣的誤判,需要注意。

    與此同時,漏失資料的問題也不只於數據誤判,因為這份資料也用於其他政府機構追蹤關聯者,而綜合各家報導,雖然 PHE 強調沒有因為漏資料延誤通知確診病患,但有公衛官員說,許多「確診者的接觸者」被延誤通知,代表許多原本該即刻進行的隔離等措施沒有落實,這使得英國在野黨工黨政治人物、影子衛生大臣 Jonathan Ashworth 痛批政府致人民性命於險境

    用 Excel 錯在哪?

    以這件事情來說,很多人第一時間講到的是 PHE 用的 Excel 版本問題:舊版 xls 格式 Excel 檔的資料列數上限只有六萬多筆,如果用的是 2007 年之後的新版 xlsx,單一工作表的資料列數上限約百萬筆(1,048,576 列),可能「暫時」就沒問題了。

    PHE 在事發後迅速宣稱已解決「技術問題」,據報導方式是馬上拆解原本的 Excel 檔,來避免資料量超出負荷的問題。

    但其實,更根源的問題是:PHE 需要的其實明明是「資料庫」,不是嗎?他們沒有使用正規的資料庫系統來處理,反而用了「常常被硬當成資料庫來用,但真的不是資料庫」的 Excel。

    Excel 是個很好用的試算表軟體、很好用的文書處理工具,但它天生不是用來當「資料庫」的工具,當資料不斷增加、複雜化,Excel 遲早會超出它的負荷,不管是檔案開不了、動不了、資料筆數/儲存格總數超過限制(Ragic 有許多客戶就是感覺到自己的 Excel 或 Google Sheet 跑不動、快超過限制後,趕快找上我們的)、或是其他超出原先設計的使用方法,都可能讓它從好用工具變地雷。

    如何離開 Excel?

    反過來說,我們其實能理解為什麼IT 專家不斷提醒直接把 Excel 當資料庫、處理大量資料的壞處,許多企業(包括全球知名企業)甚至政府組織卻對 Excel 無法放手,很多時候是因為跟其他冷冰冰的商用軟體、「資料庫方案」比起來,Excel 實在太親切、太方便、也太容易開始了!

    但時代其實已經改變了,像 Ragic 企業雲端資料庫這樣「外表看起來像 Excel、實際運作起來是個資料庫(存放/查詢數百萬筆資料不是問題!)」的解決方案,就是希望提供 Excel 和傳統資料庫方案之外的第三條路,讓你兼顧低門檻、高彈性、資料庫特性。

    額外提醒:

    即使講了很多「Excel 恐怖故事」,我們其實從未否認 Excel 有它的優點,也不會不負責任的說「不用 Excel 就不會出任何錯」。

    得強調的是,不管是使用 Excel 這樣的傳統試算表工具,還是 Ragic 這樣的資料庫工具,重點是「用對工具」,讓文書軟體做文書軟體該做的事、資料庫做資料庫該做的事。

    (當然,良好的使用習慣、正確觀念和上線前測試,也都很重要 :P)

    標籤: Excel

    分類: 逃離惡夢, 逃離 Excel 災難

    部落格背後使用 Ragic! : 最強大的 No Code 企業電子化工具
    把資料放在Excel上不只是拖累團隊的行政效率,他也很容易出錯並且無法進行任何內控。
    當您的團隊成長時,使用Excel管理資料就會越來越痛苦。
    建立你們的第一個雲端資料庫!

    馬上註冊
    免費試用 Ragic!

    用 Google 帳號註冊

    立即科技 Ragic, Inc.
    02-7728-8692
    info@ragic.com
    台北市中正區南昌路二段81號9樓