高等教育中的MOOC大數據分析(轉)

(作者: 文章來源: 發布日期:2017-04-05 瀏覽數:)

轉自 中國教育網絡 Chris Dede Andrew Ho&Piotr Mitros

  高等教育中數據密集型研究和分析所面臨的重大挑戰,在于探尋適當的方法,從當今正在生成的、極其豐富的數據集中提取出知識,并提煉成為對學生、教師和公眾有用的信息。

  技術和方法的進步使人們獲得了前所未有的基于大數據的決策能力。大數據已經在商業、娛樂、科學、技術和工程領域中充分確立了這一用途。高等教育盡管也在決策領域中利用了大數據,但在教學的實際應用中仍然非常稀有。

  高等教育所面臨的獨特挑戰阻礙了這些應用。在高等教育行業中,有效采集、清洗、分析和發布大數據集所需的計算設施、工具和人員能力都嚴重匱乏。此外,學校在學生數據的采集和分析中面臨著隱私和安全問題的挑戰,這一挑戰在很多科學學科中并不存在。并且,高等教育關注長期目標,如就業能力、批判性思維,以及健康的公民生活等。由于這些結果難以衡量,尤其是在短期研究中,因此在高等教育中我們要以理論或實踐的依據作為短期內進行衡量的替代。

  除了利用教學過程中形成的實時、診斷性數據來提升學生學習效果,數據密集型的研究和分析還可以實質性地促進高等教育實踐的演進。提升我們的能力,以迅速處理和理解目前不斷增長的大型、異質、嘈雜和豐富的數據集,將是值得邁出的下一步。

  大數據和MOOC

  2011年,META Group的分析師Doug Laney,用了一組以“V”開頭的詞語來描述大數據,以指稱不斷增長的數據規模(Volume容量),持續加快的數據生成和分析速率(Velocity速度)和不斷擴大的來源、格式和形式(Variety多樣)。其他研究者增加了Veracity(真實性),以表示不同來源中參差不齊的數據質量,包括數據的范圍、準確度和時效性上的顯著差異。本文對高等教育中大數據分析的希望和困境的討論,特別強調真實性因素。

  此外,作為高等教育中數據密集型研究和分析的機遇,MOOC(大規模開放式在線課程)是本文的一個關注點。MOOC演示了從學習環境中采集到的多種類型的大數據。大量數據不僅有通過采集于多個學習者的廣度數據,也有單個學習者經歷中的深度數據。MOOC中的數據涵蓋了歷時數據(如單個學生橫跨多年的若干門課程),豐富社交數據(如集體解決問題的視頻會議錄像),以及特定活動的細節數據(如在觀看不同視頻片段、教育游戲或問題解決過程中的個人行為等)。數據的深度不僅受某個學生數據的原始容量決定,還受到情境信息可用程度的決定。

  這些類型的高等教育大數據有潛力為提高學生的學習效果創造以下機遇:

  通過適應性學習或者基于能力的教育(CBE),以使學生掌握學習內容的過程更加個性化;

  迅速深入地診斷學習需求或課程難點,將系統性思考、團隊合作和解決問題等能力評價納入深入和真實的學科領域知識評價中,以實現更好的學習效果;

  采取目標導向的干預,來提升學生學習效果并降低學生和院校的總體成本;

  利用基于游戲的學習和評價環境,使學生在復雜的信息和決策情形中學習。

  復雜技能評價中大數據的價值

  高等教育課堂中的傳統評價方式的頻度不高,形式也有限,無論是在設計方面(采用命題作文和多項選擇題方式),還是在評價反饋方面(往往是延后的和主觀的)。教育技術的進步提供了可行方法,用來評測學生在諸如工程設計問題和自由寫作等真實任務中的表現。通過對這類任務進行評測,能夠提高對學生學習效果評測的相關性和精確性,能夠根據特定學生的需求調整教學,也能夠就一系列學習問題提供個性化的反饋。

  此外,社交互動也逐漸從面對面轉成了在線方式。大數據可以對學生與學生之間的互動進行詳細追蹤。通過整合社交數據和其他數據,也許能對更加復雜的問題解決技能和團隊合作的技能進行評測。要實現這個希望,就要探尋能分析異質來源的數據并提取出測量結果的方法,這與科學和工程領域中已經出現的類似進步是并行的。

  過去二十年中,教育技術的這一項基礎進步是和教育技術的大范圍采用密切相關的。數字化的評價使得直接審視相關的真實表現成為可能。此前,廣泛用于大量學生情形的數據主要來源于標準化考試或標準化研究工具,例如物理學中的“力學概念目錄”(Force Concept Inventory)。這些評價的時間長度都很短。其結果就是,評價內容要么包含了大量的小問題,能保證評價結果準確,但是無法捕捉耗時較長的復雜技能;要么涵蓋了少量的大問題,在單個學生情況上缺乏準確度。

  與此相反,MOOC課程中的很多數據來源于正在完成大量復雜問題的學生,而且這些問題是他們日常課程學習的一部分。例如,編號為6.002X的《電路與電子》是edX/MITx的首門課程,其中考查內容幾乎全都是由和表現相關的任務構成的。學生以公式、數字或電路的形式完成對設計和分析問題的回答。這類問題的解決方案幾乎是無限的,答案不可能是靠猜的。必要時,學生可以多次提交答案并獲得反饋,直到最終解決問題為止。這些考查很花時間:在大多數周,課程僅僅安排四次考查,但要完成這些考查需要10~20個小時的功課。類似的和表現相關的考查在諸如化學、生物、物理和計算機科學等課程中都已經得到采用。對于給定的學生,如果把在多門課程中的這種復雜的評價結果合并到一起,將會形成與問題解決技能和合作活動相關的豐富數據。

  研究者可以采集到與單個學生的行為有關的細粒度的數據。通過分析正確和錯誤答案以及得到答案的行為,這些數據可以提供學習軌跡的特性的細節。延伸研究展示了新手和專家的問題解決策略的差異。專家能夠積累信息,例如看到一個模擬電路就能夠記起這個電路,但是新手就記不起來。這就可能會導致行為模式的差異,比如新手會向前滾動內容。豐富的考查數據可以提供專家技能培養方面的信息。同時還可以記錄某個學生在某個問題組上翻頁的次數,或者是在課本中查找公式的次數,然后就可以研究這些變量中的哪些包含了能夠表示專家技能的數據。

  隨著數字化的團隊工作越來越多地引入到課程中,服務器日志文件中出現了更多的社交追蹤軌跡。這些日志文件有助于識別在團隊工作中表現不佳或表現突出的學生,而且可以直接測量單個學生對團隊的貢獻。這些系統可以提供充足的數據作為起點,用于探尋形成良好的團隊整體表現的行為模式。這些模式可以用來向學生反饋相關信息以提升團隊表現。還有自然語言處理程序框架,例如開源的edX EASE and Discern,當然主要用于對短小答案打分,但也可以用于對社交活動進行分析,諸如電子郵件和論壇發帖等。這些程序框架有希望實現對書寫過程和群體動態的洞察力。

  最后,除了對單門課程的內部進行觀察以外,MOOC數據系統還使得對學生教育軌跡的歷時性分析成為可能。大多數案例中,獨立的時間點上得不到值得關注的學習相關信息;對學生教育經歷中的所有項目加以審視就能更加精確的估計學習的效果和水平。學習分析系統正在越來越向著匯聚多門課程的多個來源數據的方向發展。開源的分析框架,如edX Insights或Tin Can,都為學生的所有數字化學習活動提供了通用的數據倉庫。

  數據創造

  分析上的很多困境都是因為少問了一個問題,即“數據從哪里來?”數據采集和數據挖掘兩個短語都隱含著一個意思:數據就在那兒,等著研究者去挖掘和采集。在教育研究中,我們設想數據創造這個更加有用的觀點,因為這可以把分析師的注意力集中到最初的數據形成過程上。按照這個觀點,大數據的形成之所以重要,不僅是由于從現有情境中提取數據的新方法,而且是由于新出現的情境。創建一門MOOC課程、在線教育游戲、學習管理系統或在線考試,我們就能采集數據;不過更重要的是,在新情境中創造數據,而且是在一個恰好能夠采集這些數據的情境中。

  這是一個相當重要的觀點。基于這一觀點的前期工作沒有將MOOC課程視為新型課程,而是視為新的情境,其中的入學、聽課、課程和成果等傳統術語都要重新定義。MOOC課程的特征是異質的參與者,異步的使用,和入學的低門檻——這樣的描述關注到了MOOC課程不同于貌似相近的在校教育和在線教育的原因。在MOOC課程的情境中,有人也許會主張說退學是許多MOOC參與者想要的結果,因為他們的意圖僅僅是瀏覽和尋找一個合適的課程。因此,在研究提升課程完成率時首先要解決一個問題,即作為一個不切實際的行為,完成MOOC課程是否是人們實際上想要的,以及是否要將研究范圍縮小到那些確實想完成課程的人們身上。MOOC研究中的分析還面臨著其他挑戰,包括實驗組間的流失率差異和嚴重扭曲的分布等。

  不僅是MOOC,要理解基于數據密集型或大數據導向的工作,都要置身于數據形成過程的情境中。特殊的情境和過程經常在教育大數據研究中出現。當在特殊的情境和過程中進行研究時,研究結果到底是這種特殊情境的特性,亦或是有普遍意義的、對認知科學的學習領域的貢獻,就難以區分了。大數據研究并不天然地隱含跨情境的可復現性。盡管如此,大數據可以實現與其他情境中的數據集的關聯,相應地,對研究結論在其他情境中普遍適用的程度進行評估也就成為可能。

  定義MOOC“學生”

  上文已經主張不要將教育中的數據密集型情境視為熟悉的含有數據的情境,而是視為不熟悉的可以從中采集數據的情境。我們相信,這個觀點可以有效地將研究重新聚焦于對這些情境的描述,并決定其中的研究發現能否以及如何普遍地適用于其他更加熟悉的情境之中。對哈佛大學和麻省理工學院的開放式在線課程的研究已經發現,參與學習者的年齡、教育背景和地理位置有令人關注的多樣性,連同大量教師的課程參與和變化多樣的初始投入。我們和其他研究者主張,這樣的特點使MOOC課程難以評價;其中,不加鑒別地使用“完成率”作為一項產出指標的做法尤其有問題。如何定義MOOC的衡量指標并能取得一致,正是這一難點展示的一項挑戰。

  在線內容和在線課程有什么差別?答案可能是這樣的:內容無論是被消費或者未被消費,幾乎都不需要照料;而在課程中,開設者和學生對于特定的學習目標有共同的承諾。如果在一門課程中沒有學習到知識,學生會失望,院校也應當會失望。這種失敗的學習必須要加以糾正。答案還可能是這樣的:課程是有學習活動和結構的;而內容是被動的、形式是自由的。通過利用數據不斷地向教師和學生提供反饋,這種積極的做法是高等教育中數據密集型分析和研究的一部分潛力。

  內容本身算是一項貢獻,而且某些教師和院校提供的也只有內容而已。但是,如果僅僅提供內容的話,會導致完成MOOC課程的學生更可能是那些知道自己需要什么的學生,那些自我激勵的學生,以及那些用必要的時間和技能保持學習進展與課程進度接近的學生。研究中普遍發現,受到過大學教育和來自于美國的富裕地區的MOOC注冊學生不成比例地集中,這與上述假設是一致的。如果沒有諸如學分、補習、問責等教學制度要素,在缺少有目標的干預措施的情況下,MOOC課程不太可能會縮小美國的成績差距,而只有一些MOOC課程提供了這種干預措施。當然,縮小成績差距對于發揮MOOC課程的積極作用而言既無必要又不足夠,因為MOOC課程已經大規模地提高了課程的可用程度。然而,既然到了將縮小成績差距作為目標的程度,那么相關的努力就需要可觀的資源和全力專注的使命。

  出于自我評估的需要,MOOC提供商們應當對堅定學習者(committed learner)下一個定義,并且使注冊學生和公眾了解這一定義。堅定學習者的一個可行定義是:一個注冊學生,他或她聲明承諾為完成課程而投入,且在線活躍時間至少有5小時。對于一個學生,如果要理解他或她正在參與的是一項怎樣的課程,這個時間(正如四處閑逛的“購物時間”一樣)看起來充足;而且,這個時間投入帶來的完成率可以達到50%(根據哈佛大學和麻省理工學院數據)。按照當前許多MOOC提供者使用的另一個定義,一個堅定學習者是至少在一次作業中完成了一個問題的學生。根據相應的MOOC數據,符合這一定義的學生的完成率接近25%。教師和院校可以公開堅定學習者的數量以及完成率,為他們負責,并且努力在當前的基準上提升他們的數量和完成率。

  重要的是,堅定學習者的這一定義并不排除其他的參與者。在此模型中,好奇的瀏覽者、很少看視頻的聽課者(聽眾)、尋找資料的教師都會用MOOC,只要他們愿意。這些學習者可以按照反映MOOC滿足需求程度的適當尺度繼續進行劃分。只要課程的教師和管理者了解課程的參與者,教學的本質就是要使得教師和管理者在幫助MOOC參與者達到目標方面負起責任。在校高等教育中大數據帶來的機遇也和這一本質是類似的。

  數據:用于預測還是學習?

  對于數字化學習數據的最常見疑問就是預測,包括對畢業、流失,以及諸如修習課程模式等對未來產出的預測。但是需要牢記的一點是,在所有教育改革過程中,衡量預測和實際產出之間差距的預測標準都是不準確的。相反地,衡量采用預測算法時學生的學習效果和沒有預測算法時的差距,這個標準才有重大意義。我們發現,人們對技術復雜的預測模型和對錯綜曲折的學習途徑的關注是不成比例的。而且,為了確定學生和教師是否能使用數字化工具來提高學習效果,要進行嚴格的實驗設計,但是極少有人關注此事。

  簡而言之,如果預測模型說某個學生將會失敗,我們要讓這個預測只有在無法干預的情況下才能成真。如果這個學生真的失敗了,應當看作是整個系統的失敗。預測模型應該是預測-響應系統的一部分,這個系統要對沒有響應的失敗情況做出準確預測,而且啟動響應使得預測變成錯誤(例如,準確預測在特定的干預下學生將會成功)。在良好的預測-響應系統中,所有預測都最終被負反饋調整。展現這一效果的最佳經驗方式是在系統分派上引入隨機變量,例如將預測-響應系統隨機地分派給部分學生而不是全部學生。這個方法極少用于在校高等教育,而數字化數據的存在使之變得可行。

  在MOOC中評價復雜技能

  將評測方法作為教學設計的目標之一會帶來實質性的挑戰。課程作業和考核有多個目標:

  作為持續監控學生所了解內容的方法。這可以使教師和學生將教學調整到難點區域。

  作為學生習得新信息的主要方法。在很多學科中,大多數的習得都是通過作業實現的,學生在作業中應用、推導或構建知識,而不是在課堂講授、視頻或閱讀中。

  作為評分的關鍵組成部分。評分有多重目標,從驗證學生的完成情況,到激勵學生的期望行為。

  作為學生、教師、院校和課程的總結性評價。總結性評價有很多高等級的目標,例如學生的畢業和學校的認證等。

  不同的研究社群強調不同的目標,因而為如何構建良好的評價提出了不同原則。例如,量化方向的心理計量學家可能會強調可靠性和可比性,因此一般都要達到高水平標準化。相反,物理教育研究社群可能更強調概念,通過深入的練習,迅速的反饋,積極的學習和建設性學習等方式。

  結論

  盡管教育經歷的許多目標難以被衡量,但是高等教育中數據密集型研究和分析可以幫助人們改進、控制和理解那些可以被衡量的目標。目前可用數據的廣度和深度有潛力從根本上改善學習效果。我們相信,當前在數據密集型研究和分析上發生的一切,可以與顯微鏡和望遠鏡的發明相提并論。這些發明揭示出了此前一直存在但從未被獲取的數據。

  數字化評價長期以來都是解放教師時間的有效方法,特別是在混合學習環境中,同時也是進行即時的形成性反饋的有效方法。在此基礎上的后續工作,一方面向著真實性評價的方向發展;另一方面,要為了迅速準確對學生的問題進行評價反饋,而尋求人類和機器共同協調工作的方法。其中數據從多樣的來源中集成而來,通過歷時性的采集而來。

  隨著這一改變,我們擁有的數據涵蓋了學生技能的幾乎所有方面,包括高等教育力圖促進發展的復雜技能,在現代經濟中,這是比單純的事實知識更加重要的能力。這為我們帶來了以更深入、更頻繁、更迅速的方式來評價高等教育學生的潛力,擴展了學生和教師監控學習效果的視野,包括對高等級技能的評價并提供個性化的基于這類評價的反饋。然而,理解這些數據所需的工具(例如edXORA、Insights、EASE和Discern)都還處于萌芽階段。高等教育中的數據密集型研究和分析所面臨的巨大挑戰,在于探尋從目前產生出來的、極度豐富的數據中提取知識的方法,也在于將這些理解整合到學生、校園、教師和課程設計的圖景中去。

168彩票网