導語：如何才能寫好一篇計算機大數(shù)據(jù)論文，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公文云整理的十篇范文，供你借鑒。

篇1

目前，國內(nèi)高等院校的計算機基礎教育更多地沿用了傳統(tǒng)計算機教育的方法，只注重講授計算機的理論知識和操作要領，未考慮學生學習的效果。這導致學生只是記住一些概念和理論，能做基本的操作，卻很難用所學的知識靈活地解決實際問題。當前大學計算機基礎教育面臨以下4個問題：

（1）學生的計算機應用能力差異大

高等院校的學生來自全國各地，而不同地區(qū)的中小學計算機教育水平參差不齊。單一的課堂教學已無法保證所有的學生學得會、學得好，這給教學帶來了問題。

（2）教學和實驗的學時嚴重不足

目前，各個高校都在減少課時，教師只能在課堂上和實驗中加大講授的知識量，加快教學進度。當一個教師面對幾十個學生時，基礎較差的學生往往得不到教師足夠的指導和練習時間，這給輔導答疑帶來了問題。

（3）學習的結(jié)果與過程未被記錄下來

學生可以利用豐富的網(wǎng)絡資源鞏固課堂內(nèi)容，擴大知識面，加深對知識的理解。在傳統(tǒng)教學中，教師往往忽視了學生的課后學習，沒有記錄學習結(jié)果與過程，這給教育過程的改進帶來了問題。

（4）目前的網(wǎng)絡教學系統(tǒng)很少區(qū)分學習個體

網(wǎng)絡教學系統(tǒng)能夠提供大量的多媒體教學資源，幫助教師進行課后輔導答疑，卻很少區(qū)分學習個體，導致缺乏個體相關的數(shù)據(jù)，從而難以提供個性化的指導，這給網(wǎng)絡教學系統(tǒng)的智能化帶來了問題。這些問題歸根結(jié)底是數(shù)據(jù)的問題，是數(shù)據(jù)沒有被有效地規(guī)劃和整合的問題。我們把與學習過程相關的大量數(shù)據(jù)收集起來，對這些數(shù)據(jù)進行分析，挖掘出有價值的信息，最后傳遞給學習者，這是一種解決計算機基礎教育所面臨問題的可行方法。

2面向計算機基礎教育的大數(shù)據(jù)

在當前知識大爆炸的時代，人們獲取知識的途徑不僅僅局限于課堂，更多的是網(wǎng)絡資源。當代的大學生接受新生事物更快，更愿意在特定的學習情境下去主動構(gòu)建知識。因此，大學計算機基礎教育需要改革現(xiàn)有的教育模式，將大數(shù)據(jù)技術融入到大學計算機基礎教育中，建立與時俱進的大數(shù)據(jù)驅(qū)動的教育模式可以有效解決上述問題。在大數(shù)據(jù)時代涌現(xiàn)出大量的網(wǎng)絡教學系統(tǒng)，隨著這些網(wǎng)絡教學系統(tǒng)的推廣和普遍應用，使用者數(shù)量急劇增加，產(chǎn)生了大量的數(shù)據(jù)。數(shù)據(jù)之間可能存在某種聯(lián)系，對這些聯(lián)系進行分析和挖掘可能會找到有價值的信息。將有價值的信息展現(xiàn)出來，能夠幫助我們做出正確的決策。在人類社會的發(fā)展已經(jīng)由動力驅(qū)動轉(zhuǎn)變?yōu)閿?shù)據(jù)驅(qū)動的背景下，教育正在發(fā)生著一場新的變革，大學計算機基礎教育也面臨著類似的機遇和挑戰(zhàn)。通過網(wǎng)絡教學系統(tǒng)，可以更加方便地獲取和利用大學計算機基礎教育相關的各種數(shù)據(jù)

。大學計算機基礎教育涉及的數(shù)據(jù)主要有以下幾種：

（1）課件。課件是文字、聲音、圖像、動畫等素材的集合，幫助教師更加生動地講解課程內(nèi)容，主要使用PPT和Flash兩種文件。

（2）視頻。視頻是將教師在課堂上的授課內(nèi)容錄制下來，為學生提供課后學習的方式。學生可以在教學系統(tǒng)中下載或在線學習視頻內(nèi)容。

（3）題目。題目主要用于測試學習效果，包括判斷題、填空題、選擇題、問答題、程序設計題等各種題型。

（4）問題。學生在學習過程中遇到的問題，通過教學系統(tǒng)提交給教師。這些問題反映了學習的難點，是教師在課堂上需要詳細講解的教學內(nèi)容。

（5）代碼。代碼是學生做程序設計類題目時所編寫的程序代碼。學生編寫代碼的質(zhì)量可以由教師評判，也可以由系統(tǒng)自動評判。

（6）行為。行為用來記錄學生的學習活動，如課件下載行為、視頻點播行為、作業(yè)瀏覽行為、編程行為等。這些行為能夠反映出學生的學習情況。

（7）缺陷。缺陷是學生提交的作業(yè)中包含的各種錯誤，反映了學習過程中存在的問題。對教學系統(tǒng)而言，這些數(shù)據(jù)是進行個性化推薦學習的參考依據(jù)；對教師而言，這些數(shù)據(jù)能夠提示教學過程中需要特別關注的地方。

（8）過程。過程是指在教學過程中收集到的一些宏觀數(shù)據(jù)，如課件學習過程、視頻學習過程、測試過程等。這些過程能夠反映出學生學習的個體差異。

3大數(shù)據(jù)驅(qū)動的新模式

在大數(shù)據(jù)時代，我們可以利用大數(shù)據(jù)技術在大量與學習相關的數(shù)據(jù)中挖掘出有價值的信息。這些信息能夠幫助學生更加科學有效地學習，較好地解決當前計算機基礎教育面臨的問題。因此，我們將大數(shù)據(jù)技術融入到大學計算機基礎教育中，提出一種大數(shù)據(jù)驅(qū)動的計算機基礎教育新模式。它是在有效規(guī)劃和整合計算機基礎教育大數(shù)據(jù)的前提下，為學生提供各種自主學習資源和服務的新模式。學生和教師在使用各種網(wǎng)絡教學系統(tǒng)時，輸入的數(shù)據(jù)和學習行為都被系統(tǒng)記錄下來。利用大數(shù)據(jù)技術對記錄下來的數(shù)據(jù)進行分析，挖掘出與學生學習特征相關的數(shù)據(jù)。這些數(shù)據(jù)為學生的后續(xù)學習提供個性化的推薦，規(guī)劃個性化的學習路線；向教師反饋學生的學習行為和效果，為后續(xù)教學提供個性化的推薦，幫助教師改進教學方法。以在線課程系統(tǒng)、在線編程系統(tǒng)和在線答疑系統(tǒng)為代表的各種網(wǎng)絡教學系統(tǒng)目前得到了廣泛的應用，這些系統(tǒng)本質(zhì)上都是大數(shù)據(jù)驅(qū)動。實踐證明，這些系統(tǒng)的應用將為學生學習和教師教學提供實質(zhì)性的幫助。

1）在線課程系統(tǒng)是課堂教學的延伸

大型開放式網(wǎng)絡課程MOOC是國際上流行的教學平臺。自2013年5月以來，北京大學、清華大學、復旦大學、上海交通大學等國內(nèi)一流高校紛紛宣布加入MOOC，向全球提供免費的在線課程。MOOC采用云計算架構(gòu)，提供大量的視頻學習資源和人機交互功能。學生提交作業(yè)后，系統(tǒng)能自動評判作業(yè)的質(zhì)量，以評估學習效果。MOOC的出現(xiàn)給計算機基礎教育帶來巨大影響。MOOC解決了學生計算機應用能力差異大的問題，學生不管基礎如何，都能找到與之相應的學習內(nèi)容；MOOC彌補了課堂教學學時不足的問題，學生能在課后隨時隨地找到學習資源；MOOC能夠記錄學習的結(jié)果與過程以及作業(yè)中的錯誤等，這些對于改進教學方式和調(diào)整教學重點等都有意義。

2）在線編程系統(tǒng)是實驗環(huán)節(jié)的補充

隨著SaaS技術(軟件即服務)的不斷成熟，出現(xiàn)了許多功能強大的在線編程系統(tǒng)。這給大學計算機基礎教育中的程序設計類課程的實驗教學

帶來了巨大的幫助。使用在線編程系統(tǒng)進行實驗的好處有以下幾點：

（1）教師不用在實驗室的每臺計算機中安裝軟件，學生通過瀏覽器就可以編寫程序；

（2）學生編寫的代碼都存儲在云端，能上網(wǎng)的地方就能練習編程，并且隨時可以修改代碼，解決了實驗教學學時不足的問題；

（3）在線編程系統(tǒng)主要記錄代碼和代碼編寫的過程，能夠收集實驗過程中與學習相關的數(shù)據(jù)。國外在線編程系統(tǒng)CodeCademy提供了一種學習編程的新方式。它的用戶群是零基礎的學習者，所以CodeCademy創(chuàng)設趣味性的學習環(huán)境，手把手幫助學習者了解編程的過程。它的在線編輯器能讓學習者不用尋找、下載和安裝編程環(huán)境就可以在網(wǎng)絡上編程。在線編程系統(tǒng)不僅為實驗教學提供了方便的實驗環(huán)境，還能收集大量的程序代碼和學生的編程行為，有助于分析學生的學習特點與習慣，區(qū)分學習個體，為制訂個性化學習路線提供有價值的數(shù)據(jù)。

3）在線答疑系統(tǒng)是課后輔導的平臺

學生在學習過程中常常會遇到很多問題，這些問題如果能及時得到解答，就能促進學生更深入地學習；反之，就會影響學生的學習效果和積極性。目前，互聯(lián)網(wǎng)上已經(jīng)出現(xiàn)了許多人工解答和自動解答的系統(tǒng)。有代表性的是上海交通大學的遠程教育設計中心設計開發(fā)的AnswerWeb自動答疑系統(tǒng)，它是一個動態(tài)的問題及答案的數(shù)據(jù)庫。學生輸入關鍵詞后可以在系統(tǒng)已有的問題和答案數(shù)據(jù)庫中查找相關的材料。如果沒有找到答案，則會自動轉(zhuǎn)發(fā)給教師請求幫助解答。隨后，新的提問和答案將被增加到系統(tǒng)庫中。系統(tǒng)會記錄所有的問題和答案以及學生提問過程中的行為。在線答疑系統(tǒng)應用到大學計算機基礎教育中，解決了教師無法在課后對每位學生進行輔導答疑的問題。同時，利用大數(shù)據(jù)技術，答疑系統(tǒng)將學生提問和獲得解答的行為記錄下來，自動的分析這些數(shù)據(jù)，挖掘?qū)W習個體特征，為學生的后續(xù)學習提供個性化的推薦。

4結(jié)語

篇2

一、大數(shù)據(jù)下的計算機軟件技術

（一）云儲存服務

在大數(shù)據(jù)時代的背景下，云儲存服務是當今社會有效儲存海量數(shù)據(jù)信息、進行數(shù)據(jù)信息價值分析與利用的技術。與傳統(tǒng)的數(shù)據(jù)儲存技術相比，云儲存服務在大大提升自身儲存容量，并且能夠分類儲存不同領域數(shù)據(jù)的同時，還可以拋棄固定化的儲存設備，通過快捷、方便的儲存來發(fā)揮出該技術協(xié)同性、綜合性的功能。云儲存技術幫助系統(tǒng)利用對數(shù)據(jù)資源的有效整合來實現(xiàn)提升信息存儲效率的目的，同時數(shù)據(jù)儲存較高的安全性也能夠為人們?nèi)粘５墓ぷ?、生活提供良好的保障?/p>

（二）信息安全技術

由于互聯(lián)網(wǎng)是大數(shù)據(jù)處理的基礎，其中互聯(lián)網(wǎng)平臺開放度比較高、不同領域數(shù)據(jù)信息聯(lián)系緊密，一旦外來病毒、木馬攻擊互聯(lián)網(wǎng)平臺，部分數(shù)據(jù)就會受到病毒的感染，并且對其他存在一定關聯(lián)的數(shù)據(jù)信息造成不利的連帶影響。因此，在大數(shù)據(jù)時代中需要有互聯(lián)網(wǎng)信息安全技術來發(fā)揮出防護病毒、木馬的作用。并且我國還要積極學習發(fā)達國家的信息安全技術，通過不斷的研究與經(jīng)驗積累來彌補差距，從而也為大數(shù)據(jù)背景下海量數(shù)據(jù)信息準確性、安全性的提升作出貢獻。

（三）虛擬化技術

虛擬化技術作為資源管理技術的一個分類，能夠?qū)Ω黝悢?shù)據(jù)資源進行優(yōu)化配置，不僅可以為各類不同的場景提供需求，降低了生產(chǎn)管理、資源管理的生產(chǎn)成本，還有效提升了數(shù)據(jù)資源的利用率。擴展性、可行性、綜合性較高的虛擬化技術成為了許多企業(yè)與研究機構(gòu)重點關注的對象，使其在大大降低人力、財力、物力的同時，有利于社會經(jīng)濟效益的可持續(xù)發(fā)展。因此，在大數(shù)據(jù)時代背景下，企業(yè)要分析自身的發(fā)展情況與發(fā)展需求，從而順應時代潮流，做好對虛擬化技術的創(chuàng)新研究，通過較高的科技水平來發(fā)揮出虛擬化技術的特點。>>>>推薦閱讀：研究高職計算機專業(yè)網(wǎng)絡教育平臺現(xiàn)狀

二、大數(shù)據(jù)下計算機軟件技術的具體應用

（一）商業(yè)通信領域的應用

由目前情況可知，計算機軟件技術在商業(yè)通信行業(yè)的快速發(fā)展中起著十分重要的作用，許多通信工作人員能夠通過各類計算機軟件技術，來有效分析與記憶所有消費者的不同消費習慣與需求，從而實現(xiàn)用戶滿意度的提升以及通信企業(yè)的良好發(fā)展發(fā)展。例如，IBMSPSS作為一款測預分析軟件，它能夠?qū)崟r掌握用戶的信息，通過精準的分析來對用戶提供個性化的需求；而功能更加豐富的XO分析軟件以通信用戶的消費行為基礎進行合理的評估報告，不斷發(fā)掘用戶潛在的消費心理，同時它還可以借助網(wǎng)絡分析加速器，來檢測自身系統(tǒng)存在的問題，并且快速、開心的制定出解決方案。

（二）商業(yè)領域的應用

計算機軟件技術在商業(yè)領域的應用，不僅可以幫助工作人員優(yōu)化工作結(jié)構(gòu)，做好企業(yè)各部門作職責的分配，同時電子商務企業(yè)能夠借助計算機軟件技術來實現(xiàn)數(shù)據(jù)信息的匯總、處理，從而通過線上或者是線下多種方式促進消費者的消費行為，有利于企業(yè)核心競爭力的提高。而在用戶信息的管理方面，工作人員可以通過Gognos技術在設備上建立起即時功能平臺，用于用戶信息的查詢。例如，景區(qū)里的管理人員能夠利用電腦、手機等實時共享設備實現(xiàn)對進出游客的實時控制。

（三）企業(yè)信息解決方案方面的應用

在大數(shù)據(jù)背景下，計算機軟件技術還可以用于解決企業(yè)在發(fā)展過程中容易出現(xiàn)的信息安全問題，管理人員能夠通過對數(shù)據(jù)資料的深入挖掘來掌握準確、有效的市場信息以及風險評估。首先是數(shù)據(jù)取樣環(huán)節(jié)，企業(yè)人員需要在所銷售的產(chǎn)品之中隨機抽取代表性強的產(chǎn)品，其次是信息收集整合環(huán)節(jié)，借助計算機軟件技術的計算分析來提高結(jié)果的可靠性，從而實現(xiàn)幫助企業(yè)有效在行業(yè)競爭的過程中規(guī)避市場風險的目的。

三、結(jié)論

結(jié)合本文，隨著大數(shù)據(jù)時代的不斷發(fā)展，計算機軟件技術漸漸的與社會上的各行各業(yè)有了緊密的聯(lián)系，在企業(yè)行業(yè)競爭力的提升中起到了至關重要的作用，并且為各個企業(yè)的生產(chǎn)發(fā)展提供十分重要的技術保障。因此，計算機軟件技術領域應當適應時展要求，以提供優(yōu)質(zhì)、安全的數(shù)據(jù)管理應用為目標，從而在海量數(shù)據(jù)信息的收集、分析、存儲環(huán)節(jié)中發(fā)揮出高效防護、管理的作用，同時還要對計算機信息系統(tǒng)采取有效的措施，充分保障數(shù)據(jù)信息的安全性。

【計算機碩士論文參考文獻】

[1]郝雅萍.基于大數(shù)據(jù)下計算機軟件技術的應用[J/OL].電子技術與軟件工程,2019(06):166[2019-04-22].

[2]盧凌.大數(shù)據(jù)時代下計算機軟件技術的應用探索[J].現(xiàn)代工業(yè)經(jīng)濟和信息化,2019,9(01):85-86.

[3]王志國.大數(shù)據(jù)下計算機軟件技術的應用分析[J].信息與電腦(理論版),2019(03):103-104.

篇3

關鍵詞：大數(shù)據(jù)時代；網(wǎng)絡通信技術；分析

計算機網(wǎng)絡技術的發(fā)展與完善，Internet技術應用領域廣泛，并且現(xiàn)在人們生活、學習與工作已經(jīng)離不開計算機網(wǎng)絡?，F(xiàn)在人們的需要不斷變化，計算機遠程網(wǎng)絡通信技術需要不斷更新以適合現(xiàn)代人們的需要，同時保障計算機遠程網(wǎng)絡通信。在大數(shù)據(jù)時代，提高計算機遠程網(wǎng)絡通信的質(zhì)量，滿足用戶的需求是迫切需要解決的問題，在大數(shù)據(jù)時代，如何提高計算機遠程網(wǎng)絡通信質(zhì)量，更新計算機遠程網(wǎng)絡通信技術，保障用戶的需求，給計算機遠程網(wǎng)絡通信技術的專家和學者提供了機遇和挑戰(zhàn)，以適合現(xiàn)代社會發(fā)展需要。

1大數(shù)據(jù)時代計算機遠程網(wǎng)絡通信技術的優(yōu)勢

計算機遠程網(wǎng)絡通信技術在應用過程中根據(jù)用戶的需求不斷更新，在大數(shù)據(jù)技術的應用到計算機遠程網(wǎng)絡通信技術有一定的優(yōu)勢。首先抗干擾性強，計算機遠程通信技術在大數(shù)據(jù)技術的應用下，保障數(shù)據(jù)傳輸?shù)挠行裕岣吡藬?shù)據(jù)傳輸?shù)目垢蓴_性，保障了數(shù)據(jù)傳輸?shù)臏蚀_性。其次有利于與計算機結(jié)合，計算機是計算機遠程網(wǎng)絡通信的主要工具，在大數(shù)據(jù)技術的應用下，讓計算機與計算機遠程通信網(wǎng)絡能更好的兼容，能更加有效保障通信的質(zhì)量與效果。最后具有多樣性特點，在大數(shù)據(jù)技術的應用下，根據(jù)用戶的不同需要，計算機網(wǎng)絡通信技術可以給用戶提供多種選擇方案，為用戶提供多樣化服務，滿足用戶的需要，符合現(xiàn)代社會發(fā)展，計算機遠程網(wǎng)絡通信技術改革為用戶需求服務。

2大數(shù)據(jù)時代計算機遠程網(wǎng)絡通信技術存在的問題

2.1計算機遠程網(wǎng)絡通信技術故障

大數(shù)據(jù)時代計算機遠程網(wǎng)絡通信在運行的過程中，出現(xiàn)計算機遠程網(wǎng)絡通信技術問題是一種常見問題。計算機遠程網(wǎng)絡通信技術故障主要表現(xiàn)其一是物理層出現(xiàn)問題，物理層出現(xiàn)問題一般是接口問題，一旦出現(xiàn)問題影響數(shù)據(jù)的發(fā)送與接收，同時也容易被黑客等進行攻擊。其二是網(wǎng)絡層出現(xiàn)問題，網(wǎng)絡層問題一般是路由器出現(xiàn)問題或網(wǎng)絡IP地址出現(xiàn)問題，在網(wǎng)絡運行的過程中容易出現(xiàn)網(wǎng)絡擁塞現(xiàn)象，對網(wǎng)絡通信產(chǎn)生一定的影響。當網(wǎng)絡層出現(xiàn)問題還有可能受到病毒的攻擊，這會給網(wǎng)絡通信起到阻礙作用，在網(wǎng)絡通信要注重網(wǎng)絡病毒的防治，減少網(wǎng)絡病毒對網(wǎng)絡通信的攻擊。

2.2計算機遠程網(wǎng)絡通信的速度問題

現(xiàn)在人們的生活、學習與工作離不開計算機網(wǎng)絡，計算機遠程網(wǎng)絡通信的速度是大家關心的問題，數(shù)據(jù)在網(wǎng)絡上傳輸視頻、圖片等都有傳輸失敗的現(xiàn)象，這都是計算機遠程網(wǎng)絡通信出現(xiàn)問題，多數(shù)都是由于網(wǎng)絡擁塞現(xiàn)象造成的，在計算機遠程網(wǎng)絡通信帶寬增加的過程中，但每年網(wǎng)絡用戶大量增加，這給網(wǎng)絡通信的速度帶來一定問題，阻礙了人們的正常網(wǎng)絡通信。

3大數(shù)據(jù)時代計算機遠程網(wǎng)絡通信技術的革新

3.1對計算機遠程網(wǎng)絡通信技術進行維護

計算機網(wǎng)絡遠程通信需要網(wǎng)絡設備，網(wǎng)絡設備需要進行維護保障計算機網(wǎng)絡正常通信。在維護的過程中，主要是根據(jù)每個企業(yè)的情況對其進行定期的檢測和維護，為了更好地對計算機進行維護可以讓相關人員每天對機器進行檢查，對通信的情況進行評價，每周可以做一次匯報總結(jié)，對于出現(xiàn)問題的機器要及時進行檢修，這樣能夠保證整個系統(tǒng)的運行。要保障計算機遠程網(wǎng)絡通信質(zhì)量，需要對網(wǎng)絡通信設備定期進行檢測與維護，同時每臺設備最后建立檔案，同時每臺設備都需要有專人負責，建立一種維修維護責任制。

3.2革新計算機遠程網(wǎng)絡通信的速度

計算機遠程網(wǎng)絡通信速度是用戶最關心的問題，提高計算機遠程網(wǎng)絡通信速度是一個多元化因素，必須利用現(xiàn)代科學技術，科學有效的保障計算機遠程網(wǎng)絡通信速度提升。擴大帶寬是提高計算機遠程網(wǎng)絡通信速度提高的有效方法，但提高帶寬需要技術支持，同時也需要經(jīng)濟的支持，網(wǎng)絡的基礎設施需要提升，網(wǎng)絡的硬件設備需要購買，這些都是提高網(wǎng)絡通信速度的基礎，為了保障網(wǎng)絡通信速度提升，必須加強網(wǎng)絡通信的基礎建立，完善網(wǎng)絡通信的擴大化，符合現(xiàn)代網(wǎng)絡通信的優(yōu)化。提高計算機遠程網(wǎng)絡通信速度，需要在軟件和硬件方面都進行改變，以適合現(xiàn)代遠程網(wǎng)絡通信發(fā)展的需要，同時能進一步提高用戶的滿意度，符合現(xiàn)代計算機遠程網(wǎng)絡通信速度提升的需求。

篇4

1.1建立數(shù)學模型

工程上的計算是以函數(shù)，尤其是數(shù)值函數(shù)為基礎的。所謂數(shù)值函數(shù)就是說在函數(shù)的定義域中每一點x就可得位移的f{x}值，此值成為f在x處的值。例如，如何表示空氣的cp{T,P}函數(shù)？我們可以利用計算機，輸入程序，就會得到很精確的結(jié)果。除了上述問題，還有很多化學工程的數(shù)據(jù)處理的過程模擬，如：非線性方程求解、線性方程組的迭代求解、常微分方程數(shù)值解、偏微分方程數(shù)值解等等，都是先建立一個數(shù)學模型，然后帶入計算機，最終得出一系列結(jié)果的。

1.2Office軟件在化學工程中的應用

隨著計算機的普及，越來越多的人把原本紙上的工作轉(zhuǎn)移到計算機中去了?；瘜W工程學科需要處理大批文檔工作。譬如，化工論文的書寫、化工文獻的編輯、化工產(chǎn)品的說明，這些文檔中常常會有大量的圖表、公式、特殊符號，會話費人們大量的精力和時間，進而影響新信息的及時傳播。有了Office中的Word軟件，處理上述問題就方便多了。Word軟件能夠比較輕松地輸入各種文檔，還可以對文檔進行多種編輯處理。編輯化工論文時經(jīng)常用到的功能如：

（1）改變字體大小。

（2）隨意設定版面。

（3）利繪圖工具繪制實驗流程圖，并修改。

（4）利用公式編輯器編輯數(shù)學公式及化學反應式。

（5）可插入表格及頁碼。

（6）復制和刪除方便。Excel工具的強大的分析數(shù)據(jù)功能可以將數(shù)據(jù)進行統(tǒng)計，然后將其規(guī)律性地展示出來。在處理化工數(shù)據(jù)時，我們可以利用Excel工具進行求平均值、自編公式計算等。

1.3Origin在化學工程數(shù)據(jù)處理中的應用

Origin是具有較強功能的實驗數(shù)據(jù)處理軟件?？衫肙rigin進行圖形生成，我們可以在軟件中輸入實驗后得到的數(shù)據(jù)，通過軟件得到實驗數(shù)據(jù)曲線圖。為利用Origin工具繪制的實驗數(shù)據(jù)圖。通過圖形或曲線，可以清晰明了地把大數(shù)據(jù)展示給他人，并從中發(fā)現(xiàn)數(shù)據(jù)之間的規(guī)律，以便更好地進行實驗。

2結(jié)語

篇5

關鍵詞：大數(shù)據(jù)；Hadoop；分布式；k-means

中圖分類號：TP393.02

“大數(shù)據(jù)”時代已經(jīng)降臨，在商業(yè)、經(jīng)濟及其他領域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗和直覺[1]。隨著互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展，在日常運營中生成、累積的用戶網(wǎng)絡行為數(shù)據(jù)的規(guī)模是非常龐大的，以至于不能用G或T來衡量。我們希望從這些結(jié)構(gòu)化或半結(jié)構(gòu)化的數(shù)據(jù)中學習到有趣的知識，但這些數(shù)據(jù)在下載到關系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。因此，并行化數(shù)據(jù)挖掘成為了當下的一個熱門研究課題，其主要編程模式包括：數(shù)據(jù)并行模式，消息傳遞模式，共享內(nèi)存模式以及后兩種模式同時使用的混合模式[2][3]。

1 國內(nèi)研究現(xiàn)狀

當前中國的云計算的發(fā)展正進入成長期，國內(nèi)很多研究者正進入分布式的數(shù)據(jù)挖掘領域，利用國外的成熟平臺，例如Hadoop來實現(xiàn)大數(shù)據(jù)的聚類等算法。但是數(shù)據(jù)的多樣性，文本多格式，造成對數(shù)據(jù)的操作有很大的難度，而如今大多數(shù)論文都利用了標準化的mapreduce方法來進行代碼的編寫，具有一定的通用性，但是Hadoop下還有許多的工具，能夠簡化m/r過程，同樣對一定結(jié)構(gòu)的數(shù)據(jù)具有很好的并行效果，但是這方面的研究比較少，因此本文引入了HIVE的運用，簡化了數(shù)據(jù)的操作過程，利用類似標準的SQL語句對數(shù)據(jù)集進行運算，在一定程度上提高了并行化計算的效率。

2 Hadoop并行化基礎

數(shù)據(jù)挖掘（Data Mining）是對海量數(shù)據(jù)進行分析和總結(jié)，得到有用信息的知識發(fā)現(xiàn)的過程[4]。其中的聚類是一個重要的研究課題，在面對如此的海量數(shù)據(jù)，現(xiàn)有的單機模式的挖掘算法在時間與空間上遇到了很大的限制，而并行化處理是一種比較好的解決模式。Hadoop是當下比較熱門的一個分布式計算的平臺，其中的一個數(shù)據(jù)倉庫工具HIVE簡單快捷地實現(xiàn)MapReduce方法，適用于結(jié)構(gòu)化數(shù)據(jù)的存儲模式。

Hadoop是一個分布式系統(tǒng)的基礎架構(gòu)，其平臺由兩部分組成，Hadoop分布式文件存儲系統(tǒng)（HDFS）和MapReduce計算模型[5]。

HDFS的架構(gòu)是基于一組特定的節(jié)點構(gòu)建的（參見圖1），這是由它自身的特點決定的。這些節(jié)點包括NameNode（僅一個），它在HDFS內(nèi)部提供元數(shù)據(jù)服務；DataNode，它為HDFS提供存儲塊。由于僅存在一個NameNode，因此這是HDFS的一個缺點（單點失敗）。存儲在HDFS中的文件被分成塊，然后將這些塊復制到多個計算機中（DataNode）。這與傳統(tǒng)的RAID架構(gòu)大不相同。塊的大?。ㄍǔ?4MB）和復制的塊數(shù)量在創(chuàng)建文件時由客戶機決定。NameNode可以控制所有文件操作。HDFS內(nèi)部的所有通信都基于標準的TCP/IP協(xié)議。

MapReduce是一種高效的分布式編程模型，用于海量數(shù)據(jù)（大于1TB）的并行運算[6]，它的主要思想就是映射（Map）和化簡（Reduce）。一個任務（Job）需要實現(xiàn)基本的MapReduce過程主要包括三個部分：（1）輸入數(shù)據(jù)；（2）實現(xiàn)Map函數(shù)與Reduce函數(shù)；（3）實現(xiàn)此任務的配置項（JobConf）[7]，圖1描述了實現(xiàn)MapReduce的基本原理：

圖1 MapReduce原理圖

3 基于HIVE的并行k-means聚類算法設計

3.1 Hive簡介

Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，是建立在Hadoop上的數(shù)據(jù)倉庫基礎構(gòu)架，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務進行運行。其優(yōu)點是可以通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應用，十分適合數(shù)據(jù)倉庫的統(tǒng)計分析。

3.2 Hive體系結(jié)構(gòu)

圖2 HIVE體系結(jié)構(gòu)圖

圖2顯示了HIVE的主要組件以及它和Hadoop的相互作用[8]，其主要組件說明如下：

外部接口，Hive同時提供了用戶界面的命令行（CLI）和Web UI，以及應用程序編程接口（API），如JDBC和ODBC。

Hive Thrift服務器公開了一個簡單的客戶端API來執(zhí)行HiveQL語句。Thrift[9]是一個用于跨語言服務的框架，框架內(nèi)用一種語言（如Java）編寫，服務器也可以支持其他的語言的客戶端。Thrift Hive客戶端用不同語言生成用于構(gòu)建常用的驅(qū)動程序，如JDBC（java），ODBC（c++），以及用php，perl，python等編寫的腳本驅(qū)動程序。

元數(shù)據(jù)存儲（metastore）是系統(tǒng)目錄。所有其他的Hive組件都和metastore有交互。

3.3 K-means算法介紹

k-means算法是最為經(jīng)典的基于劃分的聚類方法，它的基本思想是：以空間中k個點作為中心進行聚類，對最靠近它們的對象進行分類。通過迭代的方法，逐次更新各聚類中心的值，直到有良好的收斂[10]。假設要把樣本集分為m個類別，算法描述如下：

（1）適當選擇m個類的初始中心；

（2）在第k次迭代中，對任意一個樣本，求其到m個中心的距離，將該樣本歸到距離最短的中心所在的類；

（3）利用歐式距離等方法更新每一個新類的中心值；

（4）對于所有的m個聚類中心，如果利用（2）（3）的迭代法更新后，值保持不變或者變化在可允許范圍內(nèi)，則迭代結(jié)束，否則重復（2）（3）步驟。

參考文獻：

[1]杜鵑，沈銘思.大數(shù)據(jù)時代，讓子彈飛[J].中國制衣，2013-02-05：12.

[2]胡善杰.數(shù)據(jù)挖掘算法并行化研究[J].電子世界，2012（12）：67-68.

[3]都志輝.高性能計算之并行編程技術——MPI并行程序設計[M].北京：清華大學出版社，2006.

[4]王超鵬.基于云計算分布式數(shù)據(jù)挖掘算法研究[J].技術研發(fā)，2012：92-104.

[5]Dean J，Ghemawat S.MapReduce：simplified data processing on large clusters[C].Proceedings of Operating Systems Design and Implementation. San Francisco，CA，2004：137-150.

[6]付東華.基于HDFS的海量分布式文件系統(tǒng)研究與優(yōu)化[J].北京：北京郵電大學軟件工程，2012-05.

[7]江小平，李成華，向文，張新訪，顏海濤.k-means聚類算法的MapReduce并行化實現(xiàn)[J].華東科技大學學報，2011-06（39）：120-124.

[8]葉文宸.基于HIVE性能優(yōu)化方法的研究與實踐[J].南京：南京大學軟件工程學院，2011.

[9]劉書楠.Thrift入門簡介[J].YOUNG青年與社會，2013（1）：228.

[10]崔丹丹.K-means聚類算法研究及改進[M].安徽：安徽大學計算機學院，2012-04.

[11]Xu X W，Jager J， Kriegel H P. A fast parallel clustering algorithm for large spaial databases[J].Data Mining aand knowledeg Discovery，1999，3（3）：263-290.

篇6

谷歌有一個名為“谷歌流感趨勢”的工具，它通過跟蹤搜索詞相關數(shù)據(jù)來判斷全美地區(qū)的流感情況（比如患者會搜索“流感”兩個字）。近日，這個工具發(fā)出警告，全美的流感已經(jīng)進入“緊張”級別。它對于健康服務產(chǎn)業(yè)和流行病專家來說是非常有用的，因為它的時效性極強，能夠很好地幫助到疾病暴發(fā)的跟蹤和處理。事實也證明，通過海量搜索詞的跟蹤獲得的趨勢報告是很有說服力的，僅波士頓地區(qū)就有700例流感得到確認，該地區(qū)目前已宣布進入公共健康緊急狀態(tài)。

這個工具工作的原理大致是這樣的：設計人員置入了一些關鍵詞（比如溫度計、流感癥狀、肌肉疼痛、胸悶等），只要用戶輸入這些關鍵詞，系統(tǒng)就會展開跟蹤分析，創(chuàng)建地區(qū)流感圖表和流感地圖。谷歌多次把測試結(jié)果與美國疾病控制和預防中心的報告做比對，發(fā)現(xiàn)兩者結(jié)論存在很大相關性。

但它比線下收集的報告強在“時效性”上，因為患者只要一旦覺察有流感癥狀，在搜索和去醫(yī)院就診這兩件事上，前者通常是他首先會去做的。就醫(yī)很麻煩而且價格不菲，如果能通過搜索來尋找到一些自我救助的方案，人們就會第一時間使用搜索引擎。故而，還存在一種可能是，醫(yī)院或官方收集到的病例只能說明一小部分重病患者，輕度患者是不會去醫(yī)院成為它們的樣本的。

這就是一個典型的“大數(shù)據(jù)”的應用例子，舍恩伯格的這本《大數(shù)據(jù)時代》受到了廣泛的贊譽，他本人也因此書被視為大數(shù)據(jù)領域中的領軍人物。大數(shù)據(jù)起源于數(shù)據(jù)的充裕，舍恩伯格在他的另外一本書《刪除》中提到了這些源頭：首先，信息的數(shù)字化，使得所有信息都可以得到一個完美的副本；其次，存儲器越來越廉價，大規(guī)模存儲這些數(shù)字信息成本極低；再次，數(shù)據(jù)庫技術的完善使得這些存儲的信息能夠被輕易按照一定的條件搜索出來；最后，全球性覆蓋，網(wǎng)絡是無國界的，A地的數(shù)字信息可以讓遠在天邊的B地調(diào)用。

當我們掌握有大量的數(shù)據(jù)后，便可以開始進行所謂“大數(shù)據(jù)”的操作。大數(shù)據(jù)在舍恩伯格看來一共具有三個特征：全樣而非抽樣，效率而非精確，相關而非因果。

第一個特征非常好理解。在過去，由于缺乏獲取全體樣本的手段，人們發(fā)明了“隨機調(diào)研數(shù)據(jù)”的方法。理論上，抽取樣本越隨機，就越能代表整體樣本。但問題是獲取一個隨機樣本代價極高，而且很費時。人口調(diào)查就是典型一例，一個稍大一點的國家甚至做不到每年都一次人口調(diào)查，因為隨機調(diào)研實在是太耗時耗力了。但有了云計算和數(shù)據(jù)庫以后，獲取足夠大的樣本數(shù)據(jù)乃至全體數(shù)據(jù)就變得非常容易了。谷歌可以提供谷歌流感趨勢的原因就在于它幾乎覆蓋了七成以上的北美搜索市場，而在這些數(shù)據(jù)中，已經(jīng)完全沒有必要去抽樣調(diào)查這些數(shù)據(jù)，數(shù)據(jù)倉庫里所有的記錄都在那里躺著等待人們的挖掘和分析。

第二點其實建立在第一點的基礎上。過去使用抽樣的方法，就需要在具體運算上非常精確，因為所謂“差之毫厘便失之千里”。設想一下，在一個總樣本為一億人口的范圍中隨機抽取1000人，如果在1000人上的運算出現(xiàn)錯誤的話，那么放大到一億中會有多大的偏差。但全樣本時，有多少偏差就是多少偏差，不會被放大。諾維格，谷歌人工智能專家，在他的論文中寫道：大數(shù)據(jù)基礎上的簡單算法比小數(shù)據(jù)基礎上的復雜算法更加有效。精確的計算是以時間消耗為代價的，但在小數(shù)據(jù)時代，追求精確是為了避免放大的偏差而不得已為之。但在“樣本=總體”的大數(shù)據(jù)時代，“快速獲得一個大概的輪廓和發(fā)展脈絡，就要比嚴格的精確性要重要得多”。

第三個特征則非常有趣。相關性表明變量A和變量B有關，或者說A變量的變化和B變量的變化之間存在一定的正比（或反比）關系。但相關性并不一定是因果關系（A未必是B的因）。亞馬遜的推薦算法非常有名，它能夠根據(jù)消費記錄來告訴用戶你可能會喜歡什么，這些消費記錄有可能是別人的，也有可能是該用戶歷史上的。但它不能說出你為什么會喜歡的原因。難道大家都喜歡購買A和B，就一定等于你買了A之后就要買B嗎？未必，但的確需要承認，相關性很高——或者說，概率很大。

舍恩伯格認為，大數(shù)據(jù)時代只需要知道是什么，而無需知道為什么，就像亞馬遜推薦算法一樣，知道喜歡A的人很可能喜歡B，但卻不知道其中的原因。這本書的譯者周濤教授則有不同的看法，他認為，“放棄對因果性的追求，就是放棄了人類凌駕于計算機之上的智力優(yōu)勢，是人類自身的放縱和墮落”。

在筆者看來，雙方討論的可能不是一回事。合恩伯格在這本書中完全不像他在《刪除》一書中表現(xiàn)得那么有人文關懷，這是一本純商業(yè)的書籍，商業(yè)本來就是以結(jié)果為導向的。但周濤談論的卻和“人工智能”有關。

騰訊公司副總裁吳軍在他的《數(shù)學之美》中曾經(jīng)提到，人工智能領域曾經(jīng)走過一個很大的彎路，即人們總是試圖讓計算機理解人類的指令——注意，是理解，不是知道。但折騰了很多年發(fā)現(xiàn)計算機的理解力實在得比三歲小孩還要弱。最終人工智能放棄了這條途徑，而改為數(shù)據(jù)傳輸和匹配。舉個例子說，你在進行語音輸入的時候，事實上計算機完全不知道你在說什么，但不妨礙它能夠準確地把你說的話盡可能地用字符表達出來。蘋果的Siri是很神奇，但它其實并不懂你的意思，而只是你的語音數(shù)據(jù)和它的后臺數(shù)據(jù)一次匹配而已。

篇7

【關鍵詞】人工智能；計算機網(wǎng)絡技術；應用；優(yōu)化

【中圖分類號】TP393【文獻標志碼】A【文章編號】1673-1069（2020）08-0180-02

1引言

人工智能技術與大數(shù)據(jù)技術是新時期計算機網(wǎng)絡技術快速發(fā)展的產(chǎn)物，在這一背景下，人工智能技術、大數(shù)據(jù)技術應用水平得到了很大提升，各個行業(yè)都需要將人工智能技術、大數(shù)據(jù)技術、計算機技術進行有效融合，積極探索先進技術的應用形式，明確計算機網(wǎng)絡技術發(fā)展趨勢，為技術研發(fā)控制工作的開展提供支持，滿足計算機網(wǎng)絡技術的科學發(fā)展需求。基于此，文章闡述了人工智能技術的相關內(nèi)容，介紹了人工智能在計算機網(wǎng)絡技術中的應用，總結(jié)了實踐應用及優(yōu)化措施。

2人工智能技術概述

人工智能技術將計算機科學、心理學、生理學、語言學等進行了有效融合，這項技術賦予了機器人工智能功能，機器可以針對復雜、危險的工作進行有效處理，既能夠提升工作效率，又可以保障人身安全[1]。目前，人工智能技術呈現(xiàn)出綜合性特點，為計算機科學技術的進步、發(fā)展提供了技術支持，技術人員需要將人工智能技術作為核心，針對數(shù)值計算、問題求解進行優(yōu)化，可以將其發(fā)展成知識處理，人工智能還可以處理各項不確定信息，加深對系統(tǒng)資源狀態(tài)的實時了解、追蹤，以獲取更多有效的信息內(nèi)容，向用戶提供更多的信息。人工智能技術的寫作能力比較強，能夠針對很多資源、信息進行整合，用戶可以共享、傳輸各項信息，根據(jù)多寫作的分布式人工智能思想、網(wǎng)絡管理，提高網(wǎng)絡管理工作效率、效益。在網(wǎng)絡智能化管理過程中，人工智能具有很大優(yōu)勢，具備很強的學習能力、推理能力，其在網(wǎng)絡管理中的應用能夠快速、準確處理各項信息，還具備記憶功能，可以存儲更多信息，構(gòu)建信息庫，針對信息進行總結(jié)，產(chǎn)生高級的信息。

3計算機網(wǎng)絡技術中人工智能應用現(xiàn)狀

在科學技術的快速發(fā)展中，計算機網(wǎng)絡涉及范圍日益擴大，人工智能技術和計算機網(wǎng)絡進行有效融合，人民群眾越來越關注人工智能技術優(yōu)勢及發(fā)展。在日常工作、生活過程中，人們可以利用人工智能技術，有效地處理模糊信息，改善了傳統(tǒng)計算機網(wǎng)絡技術局限性的影響，人工智能技術還能夠根據(jù)網(wǎng)絡環(huán)境強化信息監(jiān)控力度，提高工作的準確性。同時，人工智能技術能夠確保各項管理工作的協(xié)調(diào)性，利用人工智能技術可以制定信息約束管理系統(tǒng)，配合人工智能技術全面監(jiān)測各項網(wǎng)絡信息，突出各個管理層相互協(xié)作的特征?，F(xiàn)階段，人工智能技術的應用范圍更加廣泛，并處于快速發(fā)展時期，在未來社會的發(fā)展中人工智能技術水平也將提升，為人民群眾的生活、工作提供更多便利。

4人工智能在計算機網(wǎng)絡技術中的應用

4.1網(wǎng)絡安全管理

在信息技術的快速發(fā)展中，網(wǎng)絡安全管理是完善、探索過程中的關鍵管理工作，網(wǎng)絡安全管理工作為提升網(wǎng)絡技術應用提供了基礎保障，通過確保網(wǎng)絡技術應用安全，可以為生產(chǎn)工作的有效性提供支持。在這一背景下，技術人員利用大數(shù)據(jù)技術、人工智能技術，可以有效地規(guī)劃網(wǎng)絡安全管理工作要點，滿足網(wǎng)絡安全管理中的各項技術應用需求，其主要原因是大數(shù)據(jù)技術、人工智能技術的應用，有效地提升了網(wǎng)絡安全管理系統(tǒng)的防護能力，為網(wǎng)絡安全管理提供了防護保障。例如，在大數(shù)據(jù)時代，為了滿足計算機網(wǎng)絡技術、人工智能技術應用需求，應建立網(wǎng)絡安全防護中的人工智能防護體系，可以將智能攔截防護技術、人工智能技術進行融合，組建技術控制中的核心防護網(wǎng)絡體系，將其作為計算機網(wǎng)絡技術傳輸?shù)男畔⒎雷o形式。另外，在網(wǎng)絡安全管理過程中，利用人工智能技術、大數(shù)據(jù)技術，可以有效地整合網(wǎng)絡安全防護體系，提升網(wǎng)絡安全防護技術水平。

4.2數(shù)據(jù)采集與分析

現(xiàn)階段，在數(shù)據(jù)采集分析過程中，技術人員需要強化人工智能技術的應用，工作人員在應用計算機技術的過程中，會產(chǎn)生龐大的數(shù)據(jù)量，需要挖掘更多的數(shù)據(jù)，大數(shù)據(jù)時代信息逐漸呈現(xiàn)出多樣性、數(shù)據(jù)總量大等特點，單純地依賴傳統(tǒng)技術采集數(shù)據(jù)壓力相對較大，而利用人工智能技術可以有效地解決數(shù)據(jù)采集問題，科學、合理地采集、分析更多數(shù)據(jù)，有效地提升數(shù)據(jù)分析效率。

4.3計算機網(wǎng)絡系統(tǒng)管理及評價

為了滿足大數(shù)據(jù)時代的多元化功能、服務需求，需要將計算機網(wǎng)絡技術、人工智能技術進行融合。在計算機網(wǎng)絡安全管理過程中，技術人員需要將人工智能滲透到計算機網(wǎng)絡技術中，確保網(wǎng)絡管理的安全性，其具備的問題求解技術、專家知識庫能夠促使計算機網(wǎng)絡綜合管理?，F(xiàn)階段，計算機網(wǎng)絡呈現(xiàn)出瞬變性、動態(tài)性、復雜性特點，人工智能技術的應用可以將復雜的計算機網(wǎng)絡綜合管理進行簡單化處理，為綜合管理提供便利[2]。同時，以人工智能技術基礎發(fā)展的專家決策、支持方法，已在信息系統(tǒng)管理中得到了有效應用，并取得了很大效果，專家系統(tǒng)可以自主吸收、總結(jié)專家的經(jīng)驗、知識，將更多的經(jīng)驗、知識錄入系統(tǒng)中，針對系統(tǒng)知識進行完善，能夠利用匯集的專家經(jīng)驗自主解決、處理更多相似問題。另外，人工智能技術在計算機網(wǎng)絡管理、系統(tǒng)評價中的應用，可以有效地解決復雜工作。

5人工智能在計算機網(wǎng)絡技術中的優(yōu)化措施

5.1提升人工智能的智能化程度

現(xiàn)階段，技術人員需要強化人工智能技術研究力度，不斷提升智能化水平，充分發(fā)揮出人工智能在計算機網(wǎng)絡中的作用，為了提升人工智能技術的智能水平，需要針對場景、數(shù)據(jù)模擬效果進行強化，如人工智能技術的應用可以根據(jù)計算機網(wǎng)絡技術特點，創(chuàng)新、優(yōu)化人工智能系統(tǒng)。

5.2政府與企業(yè)參與技術創(chuàng)新

人工智能技術屬于高新技術，在應用、推廣過程中，工作人員需要進行改革創(chuàng)新，政府、企業(yè)是人工智能技術的創(chuàng)新主體，對于政府部門來說，企業(yè)創(chuàng)新具有很大優(yōu)勢。政府部門需要根據(jù)人工智能技術研發(fā)相應的政策支持，營造良好的環(huán)境，在人工智能技術創(chuàng)新過程中，需要大量資金、優(yōu)秀人才作為支持，政府部門需要發(fā)揮領導作用，鼓勵企業(yè)進行創(chuàng)新，還需要加大資金投入力度，促使人工智能技術向高層次進行發(fā)展。

5.3強化網(wǎng)絡安全維護人工智能應用環(huán)境

人工智能在計算機網(wǎng)絡技術中的應用，需要強化網(wǎng)絡安全維護工作，促使人工智能技術更好地應用到計算機網(wǎng)絡技術中，相關部門需要強化網(wǎng)絡安全維護工作，營造良好的人工智能技術應用環(huán)境，重視信息泄露問題，確保各個部門放心使用人工智能技術，實現(xiàn)人工智能技術應用的預期效果[3]。

6結(jié)語

篇8

關鍵詞：大數(shù)據(jù) 云存儲 Hadoop HDFS

中圖分類號：TP3 文獻標識碼：A 文章編號：1007-9416（2014）02-0172-01

1 引言

隨著移動互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)的發(fā)展，“大數(shù)據(jù)”漸漸成為發(fā)展的一種趨勢，如何有效存儲數(shù)據(jù)成為我們面臨的一個問題，云存儲技術成為首要選擇。因為用戶不需要進行硬件的管理和維護，它本身能夠根據(jù)所需容量大小對用戶數(shù)據(jù)進行定制，從而大大縮減了用戶的成本和人力的投入。另外云存儲技術具有易擴充、價格低、易管理等優(yōu)點，同時它也可以通過對外提供數(shù)據(jù)的存儲以及業(yè)務的訪問功能，以降低數(shù)據(jù)管理和運維成本。Hadoop分布式文件系統(tǒng)（HDFS）是一個運行在普通的硬件之上的分布式文件系統(tǒng)，具有高傳輸率、高容錯性等特點，來滿足當前海量數(shù)據(jù)的存儲管理問題。

本文主要提出了一種在大數(shù)據(jù)場景下基于HDFS的云存儲服務系統(tǒng)設計方案，滿足對大數(shù)據(jù)進行高效存儲的需求。

2 HDFS數(shù)據(jù)管理機制分析

Hadoop是一個分布式系統(tǒng)基礎架構(gòu)，由Apache基金會開發(fā)。它實現(xiàn)了一個分布式文件系統(tǒng)，簡稱HDFS。

由圖1可知， HDFS是主從式的分布式系統(tǒng)，對于數(shù)據(jù)的操作集中在名稱節(jié)點（NameNode）以及數(shù)據(jù)節(jié)點（DataNode）。NameNode上保存著控制信息的元數(shù)據(jù)，DataNode上保存的是實際數(shù)據(jù)，因此客戶端可以通過NameNode對元數(shù)據(jù)進行相關操作。

3 系統(tǒng)分析與設計

3.1 系統(tǒng)分析

目前許多企業(yè)面臨空前的海量數(shù)據(jù)管理難題，存儲數(shù)據(jù)的成本也居高不下，并且信息存儲的安全性也有待加強。因此，結(jié)合云存儲的特點，要設計一個成功的云存儲服務系統(tǒng)案例，可以從以下幾個方面考慮：

（1）大容量。通過對連接的普通PC機上的存儲文件類型進行設置，從而合理分配數(shù)據(jù)。

（2）高效性。將客戶端對文件數(shù)據(jù)的請求盡可能分散，提高其并發(fā)性。

（3）安全性。通過Hadoop集群的副本策略提高安全性，同時也可以兼顧Hadoop平臺的容錯技術。

（4）可擴展性。當請求增加時，系統(tǒng)可以通過增加PC機節(jié)點來擴展系統(tǒng)存儲容量和計算性能。

3.2 系統(tǒng)設計

本文將設計的基于HDFS的云存儲系統(tǒng)命名為“望遠鏡”云平臺系統(tǒng)，實現(xiàn)用戶對存儲在本地的文件數(shù)據(jù)進行管理和維護，并可通過客戶端將指定文件上傳到集群系統(tǒng)中，或?qū)崿F(xiàn)下載功能。

本系統(tǒng)的功能需求分為管理員的功能需求和普通用戶的功能需求。共分為三個模塊：管理員、普通用戶和平臺管理。圖2所示為系統(tǒng)功能模塊圖。

4 結(jié)語

本系統(tǒng)的主要任務是對來自用戶的大容量數(shù)據(jù)進行存儲，所以系統(tǒng)滿意度最重要的判斷標準是對于用戶作業(yè)的處理時間的響應，由于本系統(tǒng)在實現(xiàn)中，因此這部分工作后續(xù)完成，另外可以在用戶的存儲空間管理方面以及信息安全等方面可以進行進一步的優(yōu)化和改進。

參考文獻

[1]http：///.

[2]OtisGosvodnetie，ErikHateher.Lueeneinaetion.London：Manning，2005.

[3]趙文輝，徐俊，周加林，李晨.網(wǎng)絡存儲技術.北京：清華大學出版社，2005.

[4]黃曉云.基于HDFS的云存儲服務系統(tǒng)研究：（碩士學位論文）.大連：大連海事大學，2010.

[5]李武.面向現(xiàn)代服務業(yè)的大規(guī)模分布式文件存儲系統(tǒng)設計和實現(xiàn)：（碩士學位論文）.杭州：浙江大學，2008.

[6]李學干，徐甲同.并行處理技術.北京：北京理工大學出版社，1994.

篇9

【 關鍵詞 】 計算機；網(wǎng)絡技術；應用；發(fā)展趨勢

1 引言

計算機網(wǎng)絡技術的發(fā)展推動了社會的進步，計算機網(wǎng)絡技術的興起與發(fā)展給社會生活與生產(chǎn)帶來了質(zhì)的飛越。當前，計算機網(wǎng)絡技術的應用十分廣闊，其具體應用主要局域網(wǎng)技術、國際互聯(lián)網(wǎng)技術以及無線網(wǎng)絡技術等。

2 計算機網(wǎng)絡技術

2.1 計算機網(wǎng)絡技術的內(nèi)涵及優(yōu)勢

作為電子計算機技術與通信技術結(jié)合的產(chǎn)物，計算機網(wǎng)絡技術能夠充分發(fā)揮兩者的優(yōu)勢。一般來說，利用光纖、光纜或者雙絞線、通信衛(wèi)星等就可以將分散各處的獨立計算機按照網(wǎng)絡協(xié)議連接組成網(wǎng)絡。計算機網(wǎng)絡技術的優(yōu)點是顯而易見的，它因為結(jié)合了通信技術與計算機技術，不僅能夠以高效、便捷的方式進行運算，還能夠?qū)崿F(xiàn)數(shù)據(jù)資源的存儲、傳輸與共享。

2.2 計算機網(wǎng)絡技術的分類

根據(jù)劃分類型的不同，計算機網(wǎng)絡可以分為諸多種類。比如以拓撲結(jié)構(gòu)分類的話，可以細分為環(huán)形、星形、樹形、復合型、總線型等網(wǎng)絡結(jié)構(gòu)；按照連接范圍又可分為局域網(wǎng)（LAN）、城域網(wǎng)（MAN）廣域網(wǎng)和無線網(wǎng)絡（WAN）。當然，計算機網(wǎng)絡技術發(fā)展迅速，新興技術還包括搜索引擎、云計算等類型。這些技術特色與優(yōu)點不同，在各領域有著不同的應用，不僅方便了人們的生活與工作，還進一步推動了科技與社會的發(fā)展。

2.3 計算機網(wǎng)絡技術的主要功能

計算機網(wǎng)絡技術的主要功能可以具體分為幾個方面。第一，計算機網(wǎng)絡技術的共享功能，也就是能夠?qū)崿F(xiàn)資源的共享。一些重要的數(shù)據(jù)、參數(shù)等資源，可以被計算機利用計算機網(wǎng)絡技術進行相互連接，實現(xiàn)數(shù)據(jù)的復制、傳輸。第二，計算機網(wǎng)絡技術具有協(xié)同功能，可以相互協(xié)作完成工作。比如網(wǎng)絡內(nèi)部某一臺計算機功能受限，無法完成該項工作，就可以借助計算機網(wǎng)絡技術將其分配到其他計算機上，從而保障計算機的工作效率。第三，計算機網(wǎng)絡技術具備通信功能，也就是數(shù)據(jù)通信。計算機網(wǎng)絡技術可以實現(xiàn)人與人、計算機與計算機、人機之間的相互通信。

3 計算機網(wǎng)絡技術的具體應用

3.1 局域網(wǎng)（LAN）技術的應用

局域網(wǎng)技術具有其他計算機網(wǎng)絡技術所沒有的特點，即低成本、高效益，雖然覆蓋范圍小，但是也因此而更加方便、快捷，其傳輸速度快，更加安全可靠。局域網(wǎng)技術在的應用主要分為三類產(chǎn)品。第一，城域網(wǎng)（MAN）。城域網(wǎng)傳播速度非?？?，目前在城市中的應用多為寬帶局域網(wǎng)。因為用戶端設備價格低廉，操作簡單，因而普及率較高。并且隨著城域網(wǎng)技術的不斷發(fā)展，其傳輸速率、質(zhì)量與安全性得到了有效的保證。城域網(wǎng)涉及的技術包括光纖值接入與多業(yè)務傳送平臺等。第二，以太網(wǎng)（Ethernet）。在局域網(wǎng)的發(fā)展中，以太網(wǎng)地位尊崇，是發(fā)展的主流。以太網(wǎng)主要包括三種結(jié)構(gòu)――10BAST-T、10BASE2、10BASE5。這三種結(jié)構(gòu)各有特點，10BAST-T在上世紀90年代應用較廣。隨著時代的發(fā)展，現(xiàn)如今已出現(xiàn)了傳輸速率高達100Mps的以太網(wǎng)組網(wǎng)結(jié)構(gòu)。第三，令牌環(huán)網(wǎng)（Token-Ring）。該技術有幾個優(yōu)勢：優(yōu)先訪問控制權(quán)、令牌傳輸媒體訪問以及可以極大的滿足用戶對網(wǎng)絡系統(tǒng)的要求。

3.2 大數(shù)據(jù)及云計算等新技術的應用

大數(shù)據(jù)技術在交通、商業(yè)、農(nóng)業(yè)、醫(yī)療和科研領域應用較廣。而云計算主要依托于Internet服務，從而將充分利用網(wǎng)絡資源，提高效率。目前來說該兩項技術都得到了較多的關注，尤其是云計算技術的受關注程度更高。一些科研人員甚至將其運用到醫(yī)療領域，以便其能為人們提供廣泛的醫(yī)療信息。在教育領域，云計算為教科研工作提供了廣闊的平臺。電子領域中，云計算提供了高效的運營技術。除此以外，搜索引擎、云技術等計算機網(wǎng)絡技術能夠?qū)τ杏觅Y源作自動處理，展現(xiàn)了不同技術相互融合所帶來的好處。

3.3 無線網(wǎng)絡技術的應用

無線網(wǎng)絡技術受到人們的喜愛，尤其是在個人通信領域、家用無線網(wǎng)絡等。無線網(wǎng)絡技術細分的話又可分為紅外技術與射頻無線網(wǎng)絡技術。前者抗干擾性強，傳輸速度快且成本低，但是使用范圍較窄，因為它無法穿透過厚的水泥板或者墻壁。

4 計算機網(wǎng)絡技術的未來發(fā)展趨勢

4.1 IP協(xié)議技術的發(fā)展與應用

隨著時代的發(fā)展以及人們對計算機網(wǎng)絡技術需求的激增，IP協(xié)議已經(jīng)不再滿足人們的需求。尤其是IPv4的缺陷也暴露出來，其安全性與實時性受到人們的質(zhì)疑。在這樣的背景下IPv6協(xié)議產(chǎn)生了。相較于IPv4協(xié)議，IPv6有著更加明顯的優(yōu)勢，不僅其安全性得到了顯著的改善，能夠應對IP欺騙、連接截獲以及信息報探測等網(wǎng)絡攻擊行為，還具備一定的自動化特點，可以實現(xiàn)自動配置。將會逐步取代IPv4，成為新一代主流IP協(xié)議。

4.2 三網(wǎng)合一技術的全面推進

所謂三網(wǎng)合一技術，指的就是計算機網(wǎng)絡、電信網(wǎng)以及有線電視網(wǎng)的相互結(jié)合。三網(wǎng)合一的優(yōu)勢就是建設成本降低，并且降低了使用的難度，與社會發(fā)展節(jié)奏更加契合?？偟膩碚f，三網(wǎng)合一技術將帶動眾多領域的進一步發(fā)展，比如遠程教育、在線咨詢、電子商務以及視頻會議等。

5 結(jié)束語

可以說，現(xiàn)代社會根本離不開計算機網(wǎng)絡技術。目前的電子計算機網(wǎng)絡技術應用主要集中在LAN技術、Internet技術以及大數(shù)據(jù)及云計算技術上。相信隨著計算機技術的不斷進步以及人們對通信技術的進一步探索，未來的計算機網(wǎng)絡技術將得到充足的發(fā)展，其前景十分廣闊。

參考文獻

[1] .新時期計算機網(wǎng)絡通信現(xiàn)狀及發(fā)展趨勢研究[J].中國新通信，2015（03）.

[2] 岳政燃.淺談現(xiàn)有計算機網(wǎng)絡技術的應用和發(fā)展[J].電子制作，2015（02）.

[3] 張沖.淺談計算機網(wǎng)絡技術在項目信息管理中的運用與發(fā)展[J].電子制作，2015（01）.

[4] 左明慧.計算機網(wǎng)絡安全技術的應用與發(fā)展研究[J].企業(yè)導報，2015（11）.

[5] 劉艷，葛麗萍.淺析計算機網(wǎng)絡技術在我國郵政企業(yè)中的應用與發(fā)展[J].信息通信，2015（01）.

篇10

關鍵詞：大數(shù)據(jù)；統(tǒng)計學；教學改革

中圖分類號：C829.29 文獻識別碼：A 文章編號：1001-828X（2015）024-000-01

一、引言

最早提出“大數(shù)據(jù)”時代到來的是全球知名咨詢公司麥肯錫，現(xiàn)在的社會是一個高速發(fā)展的社會，科技發(fā)達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數(shù)據(jù)就是這個高科技時代的產(chǎn)物。大數(shù)據(jù)具有以下的鮮明特點：第一個特征是數(shù)據(jù)量大。第二個特征是數(shù)據(jù)類型繁多，多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的要求。第三個特征是數(shù)據(jù)價值密度相對較低，如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”，是大數(shù)據(jù)時代亟待解決的難題。第四個特征是處理速度快，時效性要求高，這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。

統(tǒng)計學專業(yè)是與數(shù)據(jù)分析處理聯(lián)系最為緊密的學科之一。大數(shù)據(jù)時代的到來不僅為統(tǒng)計學專業(yè)的發(fā)展帶來的前所未有的機遇，同時也帶來了巨大挑戰(zhàn)。傳統(tǒng)的統(tǒng)計學專業(yè)已不再適應大數(shù)據(jù)時代的信息爆發(fā)式增長的要求，這就要求我們應該對統(tǒng)計學專業(yè)進行重新定位，并在此基礎上調(diào)整相關課程，改革傳統(tǒng)的教學手段以及完善教學評價體系，以適應大數(shù)據(jù)時代的到來。

二、統(tǒng)計學專業(yè)改革的建議

（一）人才培養(yǎng)目標的重新定位

如果說以往的統(tǒng)計學專業(yè)是以培養(yǎng)簡單的“應用型”人才為目標，那么隨著大數(shù)據(jù)時代的到來，社會不僅僅需要會應用基礎統(tǒng)計知識處理相關領域的問題的單一的應用型人才，而是對人才提出了更高的要求：大數(shù)據(jù)時代下的統(tǒng)計學專業(yè)的人才除了應該具備基礎的數(shù)據(jù)收集，處理和分析的能力之外，還應該了解相關應用領域的背景知識，而且應具備很強的自我學習能力，以適應大數(shù)據(jù)時代數(shù)據(jù)量大，總類繁多，時效性高等發(fā)展特點。因此，統(tǒng)計學人才培養(yǎng)目標應該重新作出調(diào)整，應該以培養(yǎng)全新的“復合型”統(tǒng)計人才為新的目標。

（二）課程設置的調(diào)整

隨著人才培養(yǎng)目標的重新定位，隨之而來的就是應該對不再適應時展要求的課程進行必要的調(diào)整。

首先，大數(shù)據(jù)的分析和處理與以往的經(jīng)典分析方法有很大不同，以往的統(tǒng)計分析方法主要是建立在抽樣基礎之上，而大數(shù)據(jù)時代信息處理迅速，信息獲得途徑廣泛，而且信息價值密度低，這就要求數(shù)據(jù)處理時，可以以全體作為樣本，而不是進行抽樣；分析時必須考慮所有數(shù)據(jù)而不是剔除所謂的異常數(shù)據(jù)。因此，以往的經(jīng)典統(tǒng)計分析方法已不再適應大數(shù)據(jù)的處理和分析，必須適當?shù)恼{(diào)整經(jīng)典分析方法的課程設置，增加新的適用于大數(shù)據(jù)分析的課程。

其次，隨著數(shù)據(jù)量的爆發(fā)式增長，所有的統(tǒng)計工作對計算機的依賴程度越來越高，這就要求統(tǒng)計學專業(yè)的學生不僅掌握統(tǒng)計學專業(yè)的基礎知識，同時應該熟練掌握計算機專業(yè)知識相關知識，因此，在課程安排時，應注意計算機相關課程的適當增加。

基于上述原因，可以考慮增加如下課程：機器學習，模擬算法，數(shù)據(jù)挖掘，R語言軟件分析等課程，同時適當降低傳統(tǒng)分析方法課程的學時比重。此外，為了使學生能夠?qū)ο嚓P應用領域的背景知識有所了解，可適當增設與應用領域相關的通識課程。

（三）教學模式與手段的創(chuàng)新

以往的教學模式，通常是以課堂教學，掌握書本經(jīng)典理論為主。雖然，傳統(tǒng)教學手段有著學生理論基礎扎實等諸多優(yōu)點，但是同時也存才學生過于偏重理論知識的掌握，動手能力不足，理論與實踐脫節(jié)等缺點。隨著社會的發(fā)展，尤其統(tǒng)計學專業(yè)自身具有鮮明的應用專業(yè)特點。只采用傳統(tǒng)的教學模式和手段顯然不再適合大數(shù)據(jù)時代的需要；同時，隨著大數(shù)據(jù)時代的到來，多媒體手段日益豐富多彩，為傳統(tǒng)教學的創(chuàng)新提供了必要的支持。因此，為了適應大數(shù)據(jù)時代人才的要求，必須改革傳統(tǒng)的教學手段和模式，在傳統(tǒng)教學基礎上，加大實驗教學的比重，在傳統(tǒng)教學外，增加社會實踐環(huán)節(jié)，引入微課慕課，翻轉(zhuǎn)課堂等全新教學模式，以提高學生的學習興趣，鍛煉學生理論應用于實踐的能力，從而為以后使用大數(shù)據(jù)時代的工作打下堅實的基礎。

（四）教學評價體系的完善

傳統(tǒng)的教學評價體系，通常是采用書面考核的方式對學生的學習進行評價，隨著時代的發(fā)著，單純的筆試評價不足以衡量學生的全面能力，最后導致出現(xiàn)高分低能的情況的出現(xiàn)。

為了適應大數(shù)據(jù)時代對人才多方面能力的需求，必須對傳統(tǒng)的考核評價體系做出適當?shù)恼{(diào)整，以評價學生的多方面能力，尤其是動手能力，學習能力和應用相關理論處理實際問題的能力。具體可以采用多種考核方法相結(jié)合的方式。如：增加平時的考核力度，增加實踐項目的考核，通過布置適當?shù)捻椖空撐?，采用答辯的形式，以鍛煉學生適應以后工作，獨立分析解決問題的能力。

此外，傳統(tǒng)教學評價體系通常是單方面的，只有對學生成績的評價，為了適應大數(shù)據(jù)時代的到來，全面提高教學質(zhì)量，可采取雙向教學評價體系，如：增加學生對教學環(huán)節(jié)的評價體系。以及教師間同行間的評價體系等。