• 推薦期刊
    在線客服

    咨詢客服 咨詢客服

    客服電話:400-7890626

    咨詢郵箱:hz2326495849@163.com

    推薦論文

    科研數據管理相關權益分析

    時間:2019年06月17日 所屬分類:推薦論文 點擊次數:

    摘要文章在構建科研數據管理模型的基礎上,探析科研數據管理中的相關利益主體:政策制定機構、基金管理機構、科研活動機構、數據管理機構、數據出版機構以及數據生產機構,明確這些主體在科研數據管理中的作用,在此基礎上分析參與科研數據管理中的相關主體

      摘要文章在構建科研數據管理模型的基礎上,探析科研數據管理中的相關利益主體:政策制定機構、基金管理機構、科研活動機構、數據管理機構、數據出版機構以及數據生產機構,明確這些主體在科研數據管理中的作用,在此基礎上分析參與科研數據管理中的相關主體之間的互動關系,為e-Science環境下科研數據管理的實施提供借鑒。

      關鍵詞:RDM科研數據管理,數據管理,相關利益者

    科研管理

      1引言

      科學數據的爆炸式增長給前沿科研項目帶來了巨大挑戰,數據集的增長已經超過數十億字節。我們正處在一個以數據為中心的科學研究時代,在這個時代里,我們應用科學數據的場景無論從規模上還是多樣性上,都在迅速地擴展,這意味著科學實驗產生的大量科研數據變得和科學文獻一樣重要,收集、整合、管理和共享科研數據的任務已被公認為是各國政府與組織面臨的最緊迫的任務和挑戰之一。

      近年來科研數據管理(ResearchDataManagement,RDM)的相關研究工作備受各國政府與組織的關注。事實上,大約十年前科研數據管理就已經受到了英國許多主要研究基金會的關注,這些研究基金會為了方便獲取和共享數據,開始要求每個基金項目申請人提交科研數據共享的管理方案[1]。英國的工程和物理科學研究委員會,不僅要求基金申請者提交科研數據管理的方法,還期望研究機構在公共研究經費內適當撥款,酌情作為直接資金和間接資金流,為存儲、管理和獲取科研數據建立系統和基礎設施[2]。

      2004年英國聯合信息系統委員會(JointIn⁃formationSystemsCommittee,JISC)資助成立了數據監護中心(DigitalCurationCentre,DCC),其目標是促進英國數字化資源的管理。緊隨其后,美國和加拿大也在聯邦/國家級別上,建立了科研數據管理和分享的強制性執行計劃。如美國國家自然科學基金會、國家人文科學基金、美國國立衛生研究院、加拿大衛生研究院、國家科學和工程研究委員會和加拿大社會科學和人文研究委員會等都頒布了科研數據管理和分享的強制性措施[3]。

      德國一些機構也意識到了科研數據管理的必要性和重要性,制定相關的政策,并在各個研究領域促進信息基礎設施的建立。例如,德國研究基金會(Ger⁃manResearchFoundation,DFG)近年來發布的“提議維護良好的科學實踐”[4],保證科研數據符合“現存標準和數據知識庫”的要求[5]等指導方針。由此可見,科研數據管理作為一種解決對策,已經成為必需予以要足夠重視的全球性的問題,也已經成為國家層面上的一項極為重要的戰略任務。

      然而,科學數據管理是一項巨大而復雜的工程,涉及眾多的相關利益關系人,為確保科研數據管理這一系統工程的順利運行和持續發展,必須要理順各參與方的角色定位和責任。本文將沿著科研數據管理流程周期,探析科研數據管理過程中參與的相關利益者的角色作用與互動關系。

      2科研數據管理流程

      2.1科研數據管理的概念

      Whyte和Tedds[6]把科研數據管理(RDM)定義為:科研數據管理是數據組織,是在科學研究周期內通過傳播和歸檔的具有價值的研究成果。Cox和Pinfield[7]提出科研數據管理是,與數據生命周期相關的許多不同的活動和流程,包括設計和創建的數據,存儲、安全、保護、檢索、共享和重用,考慮到技術能力、倫理道德、法律問題和治理框架。

      科研數據的管理不同于科研文獻的管理,因為科研數據與科研文獻有顯著的區別,兩者的區別主要有如下幾點:(1)正式出版的科研文獻有統一規范的格式,而科研數據不同于出版的科研文獻,沒有統一的形式,科研數據是在科研活動中產生的數字形式的任何數據,包括文本型的、數字型的、圖像型的等各種不同的格式;(2)正式出版的科研文獻是以文件的格式儲存在出版商或者數據庫商的數據庫中,而科研數據分散儲存在各自的研究機構和研究人員的設備中,其數量大且類型復雜,因此其儲存方式也多種多樣,有電子文件格式、數據庫格式以及科學儀器專有格式等不同的格式;(3)正式出版的科研文獻是科研活動的最終結果和總結,具有單一性和穩定性的特點,而科研數據是研究生命周期內產生的任何數據,其特點是具有動態往復的數據生命周期,具有數據的時間跨度大、內容的連續性強、數據間的邏輯關系復雜等特點。由此可見,要實現對形式多樣的科研數據進行有效的管理,需要經過系統性的、復雜的過程。

      2.2科研數據管理流程

      在e-Science時代,科研數據的共享和再利用是實現高效科研的有效途徑之一,如果能在科研活動生命周期內對其進行有效的管理和共享,則對科學研究活動有著重要的意義。然而,科研數據復雜多樣性的特點,決定了人們難以直接利用它,必須建立健全的科研數據共享機制,對其進行有效的系統管理,才能對其有效地利用。

      對科研數據進行有效系統的管理,受到很多方面的影響。科學研究的生命周期和數據生命周期理論可以用來解釋科研數據管理過程和明確參與其中的不同相關利益者的角色作用。國外已有很多機構對科研數據管理進行了基于科學研究的生命周期和數據生命周期理論的科研數據管理周期模型和科研數據管理流程。

      根據地球觀測衛星委員會(TheCommitteeonEarthObservationSatellites,CEOS)的統計截至2011年全球建立的科研數據生命周期模型為46個[8],其中典型的數據管理生命周期模型包括DCC管理生命周期模型(TheDigitalCurationCentre,DCC)[9]、Research360機構研究生命周期模型(UniversityofBath)[10]、DataONE數據生命周期模型(NewMexicoStateUniversityLibrary)[11]等。

      縱觀科研數據生命周期模型,其模型都是基于數據產生、數據保存管理、數據共享的過程構建了科研數據管理流程模型。根據最早建立科研數據管理系統的DCC網站所列的基于數據生命周期的科研數據管理工作流程包括6個階段:(1)創建或接收數據階段;(2)數據評估和選擇階段:這一階段包括質量控制、編目分類、結構化元數據等一系列不同的活動;(3)數據存儲階段;(4)存儲數據的說明信息;(5)數據的存取、利用和再利用階段;(6)重用數據的途徑與許可范圍[12]。

      該模型以高度概括的方式展現了一個成功的科研數據管理所需的生命周期的各個階段。目前,在我國科研數據管理實踐尚處于初期探索階段,暫無成型的科研數據管理流程模型來進行有效的管理。本文結合參考國外成熟的科研數據管理周期模型,將科研數據管理從戰略規劃實施到最終再利用分為四層架構來對其構建了流程模型。這四層架構流程為戰略規劃階段、數據管理階段、數據存儲與托管階段、數據共享使用階段。

      每個階段都有各自的重點:(1)戰略規劃階段:這一階段應制訂和開發數據實施規劃、共享的相關政策法規等,在這一階段應強調政策的導向性,加大宣傳科學數據共享的理念,以得到科研機構和科研人員的廣泛認可,形成共享氛圍和共享意識。(2)數據管理階段:這一階段要重視數據的評估和質量控制,應強調數據的選擇和組織,應選取可靠、有再利用價值的數據,不合格的數據應該返回給始發人進行進一步評估。加強數據的加工分析,便于后期進行解碼。(3)數據存儲與托管階段:這一階段需要考慮數據的完整性與成本的平衡,數據的維護、托管與安全性。(4)數據共享使用階段,要求發布機制、版權和數據授權,衍生作品的權利,通過重復使用數據,使其產生新的科研數據這一過程實現數據的增值。整個管理階段的核心內涵則是數據的管理、存儲、訪問獲取。

      總的來說,科研數據管理流程模型直觀反映了科研數據管理的任務。依據科研數據管理周期模型進行管理,有助于參與的各機構之間的協同合作與互動,提高科研數據管理的效率。

      3科研數據管理中相關利益者權益分析

      可以說,科研數據管理中保護和管理各參與的相關利益者的權益是科研數據管理和利用能否可持續發展的重要因素之一。為此,需要考察科研數據管理中各相關利益者的權益定位和相互之間的互動關系,以確保科研數據管理的順利實施。科研數據管理流程的各個環節,為相關利益者提供了一種途徑來明確科研數據管理中參與各方的任務和責任,對理順科研數據管理中的相關利益者的權益和了解相互之間的互動關系具有指導性的意義。

      3.1相關利益者及其作用

      美國學者R.EdwardFreeman[13]在《戰略性管理:相關利益者方法》一書中,對相關利益者(Stakeholder)給出了定義,證實相關利益者是“任何能影響組織目標的實現或受組織目標的實現影響的團體或個人”。隨著相關利益者理論的不斷發展,該理論在各種組織中得到廣泛的應用。關于科學數據管理的相關利益者問題,英國學者Lyon[14]認為與科學數據管理相關的利益主體包括科學家(Scientist):創造和利用數據;機構(Institution):管理和訪問數據;數據中心(Datacentre):管理和訪問數據;用戶(User):利用第三方數據;資助機構(Funder):設置/應對公共政策驅動;出版機構(Publisher):保持完整的科學記錄等。

      同時參考Ly⁃on對科研數據管理相關利益者的分析以及DCC管理生命周期模型,認為科學數據管理的相關利益主體至少包括如下6種:政策制定機構、科研資助機構、科研活動機構、數據管理機構、數據出版機構、數據生產機構。下頁表1所示的是科研數據管理的相關利益者主體與每個主體內的參與者應盡的職責。

      3.1.1政策制定機構

      政策驅動和制定是科研數據管理順利實施與否的關鍵因素。相關政策制定機構包括國家和各機構的科研管理部門相關部門。在復雜的科研數據管理合作中,若想構建科研數據的共享環境,首先需要國家層面的數據管理與共享政策和相關法律法規的制定。如果沒有國家層面的政策和法律框架,就很難實現有效的科研數據管理共享的目標。

      為此,國家相關政府部門需要制定科研數據管理可持續發展戰略,制定全面透明的科研數據管理相關政策法規,例如開放政策、知識產權及法律倫理等,同時建立政策反饋機制,跟蹤科研數據管理當前的實施效果、評估未來的潛力,促進科研數據管理這一復雜工程的有效運行。各機構科研管理相關部門需要依據國家相關政策來制定相關戰略規劃和執行細則。

      歐美發達國家已經將數據共享提到國家層面的戰略高度,在國家政府層面上相繼制定了大量的相關政策。作為數據政策開放的先行者美國政府為了進一步完善政府信息公開制度,于2009年發布了《開放政府指令》(OpenGovernmentDirective)[15],為了貫徹執行這一政府指令,政府層面的Data.gov(http://www.data.gov)數據網站正式上線,各聯邦政府機構被要求向Data.gov提供信息,目前該網站擁有成千上萬的政府數據庫,提供來自美國聯邦政府的各個行業的原始數據,其目的是通過政府網站發布更多數據,提升政府資訊的透明度與可用性。

      繼美國之后,英國政府也頒布了《開放政府》《信息公開法》等一系列法律法規[16],2013年首先提出《八國集團開放數據憲章2013年英國行動計劃》[17]。同時,2010年英國政府也建立了Data.gov.uk(https://data.gov.uk/)網,確保所有的開放數據集都發布在官方數據門戶網站data.gov.uk上。澳大利亞政府也先后發布了《澳大利亞負責任科研行為準則》(AustralianCodefortheResponsibleConductofResearch),《開放政府宣言》(OpenGovernmentDeclaration),《公共服務大數戰略》等一系列政策制度,并推出政府層面的數據門戶網站Data.gov.au[17]。

      3.1.2科研資助機構

      科研資助機構的要求是科研數據管理和開放獲取的重要實施動力。政策導向政府和基金管理組織資助科研機構的課題經費。科研資助機構是支持科研項目順利進行的重要保障,其肩負統籌和資助科研項目的職責,在數據監管與傳播方面扮演著重要的角色,有權通過資金與政策支持等強制手段推進科研數據管理與共享機制,監督科研機構提供的數據的真實性與準確性。為提升數據管理效率,各國基金管理組織相繼出臺相關制度強制性要求科研數據的開放共享。

      例如,2010年美國國家科學基金會(NSF)通過其網站發布《開放政府指令計劃》(OpenGovernmentDirectivePlan)作為信息公開活動實施的戰略藍本。2011年美國國家科學基金會(NSF)和美國國立衛生研究院(NIH)發布政策規定要求所有項目申請者需要同時提交一份不超過兩頁的科研數據管理計劃[18-19]。英國自然環境研究理事會(NERC)也發布相關數據政策要求具有長期利用價值的項目相關數據需要提交到NERC數據中心[20],以保障數據共享等。

      3.1.3科研活動機構

      科研活動機構包括科研院所和高校。科研機構的科研人員是科學數據的生產者和擁有者,同時也是科研數據的利用者。從作為科研數據生產者的角度來看,科研人員在科研活動中進行科學實驗的過程生產科研數據,同時對生產的數據進行分析、處理和存儲。

      目前,許多基金管理機構強制性要求每個資助的研究項目,應提交一個結構化的數據管理計劃作為同行評議的一個組成部分,申請資助。為此,科研人員需要對科研項目整個科研生命周期內產生的科研數據進行實時管理并定期存放在開放的存取數據存儲庫中,以達到數據共享的目的。

      從作為數據利用者的角度來看,隨著第四范式數據密集型計算科學的發現,科研人員也希望科研數據能夠被開放共享,以便通過科研數據的再利用提高科學研究的效率,推動科研的創新。同時,科研人員作為數據的擁有者,有權保留或者放棄自己擁有的數據,并且有權獲得數據產權保護。

      3.1.4數據管理機構

      數據管理機構是負責科研數據管理具體實現的關鍵性機構,在科研數據管理中承擔著基礎設施建設、技術支撐和提供服務的重要任務,參與的相關機構主要有數據中心、機構IT部門和圖書館等。

      (1)數據中心。

      數據中心用來在Internet網絡基礎設施上傳遞、加速、展示、計算、存儲數據信息,是科研數據管理中最核心和最重要的部分。在科研數據管理中數據中心主要承擔長期管理數據、滿足良好的時間標準、提供技術培訓、保護數據提供者的權利、為數據利用者提供工具等任務。

      目前,世界范圍內已產生了大量的數據中心,(WorldDataCenter)是國際科學聯合會下設的科學數據組織,有40多個學科數據中心,分屬四個數據中心群:WDC-A美國、WDC-B前蘇聯、WDC-C歐洲和日本、WDC-D中國。這些數據中心大多是政府主導建立的公益性質的數據管理機構,致力于科學數據的保存和利用,通過匯集一些國家基金支持的重大課題、專題研究的數據成果,為研究的可持續發展提供數據支持。

      如美國人類基因組計劃[21](HGP)、航空航天局(NASA)數據庫[22]、美國國家海洋與大氣部[23](NOAA)等,均為各學科領域權威的數據監護中心。這些數據中心通過數據管理和共享以實現學科研究的持續發展,其在科研數據管理方面積累了大量的經驗,其數據管理的寶貴經驗是機構科研數據管理的基礎,可以直接或者間接地加以整合利用。

      (2)機構的IT部門。

      科研數據的搜集、存儲、共享、獲取等各個科研數據管理的環節,需要以IT基礎設施的建立和維護為基礎,因此IT部門作為科研數據管理基礎設施的建設者,其重要性越來越凸顯。在進行科學數據管理實踐時,面對大量科研數據的管理,IT部門需要提供高性能、大規模、可擴展的數值計算、存儲和處理的能力,同時還需要支持科研數據管理平臺的運行,包括數據獲取、訪問、遷移、網絡安全與認證等應用。

      (3)圖書館。

      長期以來,圖書館的主要工作包括語義描述及規范、分類編目、數據挖掘及加工以及信息資源建設等。為此,在科研數據管理的內容組織方面,圖書館一直都被認為是最為理想的組織部門。因此,在科學數據管理與傳播共享的過程中,圖書館作為科研數據管理的核心服務部門之一,其主要責任是對科研數據內容的組織和為科研數據管理的用戶提供科研數據咨詢服務。

      3.1.5出版機構

      出版機構的職能是保持科學記錄的完整性。出版機構包括以營利為目的的商業出版商和不以獲取利潤為目的的非營利性出版商。隨著科研數據管理的高度重視與開放共享環境的形成,出版商預期科研數據可用于科學出版物,同時,他們也認識到科研數據的出版是對科學家的學術價值和社會貢獻的進一步肯定。科研機構借助出版商出版和開放高附加值的科研數據,可以擴大和提升該科研機構的學術影響力和社會公信力。

      目前,在出版標準化的發展方面,出版商們為了鏈接科研數據與科學文獻聯系在一起,以支撐出版物的標準化,監控和加強公共標準,請求研究者把研究活動中產生的與研究論文相關聯的研究數據作為論文發表的一部分,在長期存儲庫中發布預發布數據,以便其他人可以獲取與共享。

      同時,出版商們已經認識到科研文獻背后的科研數據的巨大價值,積極與科研數據相關利益者建立密切關系,以科學家作為科研數據的創造者、作者和利用者,以數據中心和機構作為科研數據的供應商,積極構建科研數據的運營模式,例如,制作數據管理相關工具、出版經過同行評議的數據雜志等,推進科研數據進入學術交流體系和評價體系,促進科學數據作為科研成果發布和重用的常態化。

      3.1.6數據生產機構

      數據生產機構是數據采集者和數據提供者,他們將科研數據進行采集之后上傳。數據采集者和數據提供者對其采集或上傳的科研數據享有專利,在科研數據管理流程中,應制定相關法規,以保護科研數據知識產權。

      3.2相關利益者的互動關系

      科研數據的再利用和增值是科研數據管理的關鍵因素,科研數據管理形成的內在動力在于通過科研數據管理滿足社會需求,推動科學進步。它是一個具有持續創造價值源泉,在科研數據高價值的預期的激勵下,參與的相關利益者合作,創造出新的價值。在數據管理過程中,利益相關者之間可以通過合作、政策支持等達到各自利益的滿足,他們之間不是零和博弈的關系。每個參與的相關利益者對數據管理工作的支持,是數據管理工作得以成功和持續的保證。

      圍繞著科研數據,科研數據管理鏈需要以下要素的組合:必須要有上層決策與管理部門的戰略規劃;必須要有IT技術作為支撐,它為數據管理提供技術保障;最后還得有服務的介入,它為數據管理的順利實施提供幫助,這是一個科研數據管理的互動鏈。科研數據必須成為人們共享利用的有效的數據,科研數據管理才是有意義的,否則就是無用功。針對科研數據管理,需要戰略規劃、技術支撐和服務嵌入這三個要素的協調,參與其中的相關利益者需要形成協作互動的關系,才能為科研數據管理實施提供動力支持。圖2為科研數據管理相關利益者互動關系鏈條。

      3.2.1戰略規劃層的互動

      政策導向是科研數據管理成功與否的最主要的影響因素。戰略規劃層是科研數據管理中的決策首腦部門,為了科研數據管理的順利實施和協調發展,國家政策制定機構和基金管理組織制定國家層面的數據管理開放政策,他們將這一政策通過相關機構的首腦層傳遞到各個研究機構,各個研究機構決策部門和科研管理部門對政策進行分析,制定全面且具體的科研數據管理的總體戰略,組建一支凝聚力強的科研數據管理組織來開展科研數據管理工作,以提供全面的科研數據管理與服務,管理部門需要制定數據管理規劃、參與的相關利益者的權益,數據基礎設施的建設、數據管理支持等相關細則。營造數據共享氛圍是科研數據管理規劃能否順利實施的主要影響因素之一。

      科研數據管理的最終目的是幫助科研人員進行科研活動,實現數據的增值。然而,絕大部分的科研人員在數據管理和共享方面,因缺乏數據共享的理念和認識的不足而沒有共享數據或共享的積極性不高。政策決策層通過數據共享的政策導向,例如,制定相關的政策法規,營造科研數據共享的氛圍,以引導科研人員樹立科研數據共享的理念。

      3.2.2技術支撐層的互動

      技術管理層是提供科研數據管理服務的支柱,在科研數據管理過程中發揮關鍵性作用,為此,管理層在科研數據管理規劃階段,需要構建科研數據管理的技術框架。數據中心或圖書館承擔科研數據管理的技術支持工作。IT專家負責科研數據管理基礎設施的建設。IT技術人員和圖書館員共同為科研數據管理做好技術保障,保證科研數據管理平臺的有效運行。

      在科學研究逐步轉向數據密集型計算的科學研究第四范式的背景下,科研數據產生在科研活動的所有階段里,科研數據管理也進入科研活動生命周期的整個過程中,對科研活動任何階段產生的數據進行管理。在科研數據管理整個流程中,科研人員面臨著諸多技術方面的難題,科研人員并不了解如何合理地處理他們自身的在科研活動過程中產生的科研數據,也不了解和擅長創建科研數據元數據,圖書館員在標引、分類以及創建元數據標準等信息組織方面有著豐富經驗,能夠針對不同類型的數據創建相應的元數據標準,如原始實驗數據、編碼數據、統計數據、問卷調查結果數據等。

      因此,在科研數據管理過程中,圖書館員協助科研人員實施科研數據的轉換、標引、分類、保存等,對數據集進行有效描述。IT技術人員憑借掌握的專業技術協助科研人員,對數據進行長短期保存和管理,為后續的數據共享做準備。同時,IT技術人員幫助科研人員對數據存儲平臺相關的技術疑難問題進行培訓和解答。科研管理人員為科研人員提供數據收集方法、分析處理建議,學術交流專家提供數據共享中的版權和安全等問題的解決方案。

      4結語

      科研數據是科學發展的一個重要部分,科研數據管理核心問題是如何通過對科研數據管理過程的有效控制,來客觀公正全面地反映參與其中的所有相關利益者的貢獻,這也是科研數據管理是否可持續發展的重點,而其難點在于數據管理本身所關注的數據特有的不穩定性以及利益群體的非唯一性等。在現階段,國內科研數據管理研究和實踐都還處于起始階段,其中涉及的主體和主體責任尚不明確,各相關利益者以什么樣的角色參與,做什么具體工作還沒有實踐經驗,人員的職責和組織的措施尚未清晰地規范。

      對于參與科研數據管理的多數機構和人員,科研數據管理很可能是一項較新的挑戰。了解科研數據相關利益者行為特征,將有助于科研數據管理的可持續性發展。因此,如何更好地理解科研數據管理的生命周期過程,如何更好地平衡和明晰科研數據管理中參與各方的權益、責任與互動關系,如何保障數據貢獻者即研究人員的學術權利的同時又能方便數據用戶更好地使用數據等,都值得進一步探討與更多關注。

      參考文獻

      [1]CoxA,VerbaanE,SenB.Anewroleforacademiclibrariansre⁃searchdatamanagement[J].MultimediaInformation&Technol⁃ogy,2012,38(4):29–30.

      [2]EngineeringandPhysicalSciencesResearchCouncil[EB/OL].[2017-05-15].https://www.epsrc.ac.uk/.

      [3]TenopirC,SanduskyRJ,AllardS,etal.Researchdataman⁃agementservicesinacademicresearchlibrariesandpercep⁃tionsoflibrarians[J].LibraryandInformationScienceRe⁃search,2014(36):84-90.

      [4]ProposalsforSafeguardingGoodScientificPracticeRecommen⁃dationsoftheCommissiononProfessionalSelf-RegulationinScience[EB/OL].[2018-04-15].http://www.dfg.de/download/pdf/dfg_im_profil/reden_stellungnahmen/download/empfehlung_wiss_praxis_1310.pdf.

      [5]PampelH,VierkantP,ScholzeF,etal.Makingresearchdatarepositoriesvisible:there3data.orgregistry[J].PlosOne,2013,8.11:e78080.

      相關論文范文閱讀:管理職稱論文民政專項資金大數據管理研究

      這篇管理職稱論文發表了民政專項資金大數據管理研究,大數據時代的到來,民政專項資金管理趨向于更為高效管理模式,論文探討了民政專項資金管理過程中存在的問題和作用,并分析了如何運用大數據對于民政專項資金進行管理。

      

    彩51官网 vip9895.com | pj00rr.com | www.36788d.com | 272ww.net | www.264499.com | www.dd9988.com | bwin980.co | www.4136d.com | 3467i.am | www.qbwc5.com | www.347579.com | www.196067.com | www.suncity9.com | pj677.me | www.81520q.com | www.vns62999.com | bj0111.com | www.c44uu.com | q86811.com | www.bet353653.com | www.36360.cc | 91019q.com | www.hg8ff.com | j333.cc | www.919588.com | www.cn0013.com | 3746.com | www.065825.com | 23800g.com | www.576530.com | www.js7575.com | 567bet.co | www.kj222888.com | www.kj638.com | 2021cccc.com | www.38138m.com | 7377.com | www.388229.com | www.321329.com | 33318a.com | www.71233c.com | www.bwin299.com | 4178111.com | www.cc4625.com | 500000951.com | hg3211.com | www.55070o.com | 8722eeee.com | js345w.com | www.89677e.com | 4717.com | www.296676.com | www.50999z.com | 5588hhgz.com | www.5086l.com | www.5028hg.com | 8685151.com | www.35918j.com | www.vns2365.com | 7508f.com | www.624205.com | www.4625o.com | 1213eee.com | www.36788.com | www.74086666.com | 0471sands.com | www.622209.com | www.4694x.com | 8827kkk.com | 1813p.com | www.86339u.com | www.lbgj.com | 78666r.com | www.903588.com | www.9737oo.me | b667766.com | 2546a.com | www.js89i.vip | www.789pj.com | 3405n.com | www.131095.com | www.2880880.com | 7945gg.com | www.80032266.com | www.717012.com | 3506.com | www.551409.com | www.5555yh.vip | 1592q.com | www.pjc44.vip | js38886.com | 5856f.com | www.78700.com | www.8888855555.com | 4288j.com | www.131671.com | www.8905u.com | www.xh4477.com | d2127002.com | www.550207.com | www.4408598.com | www.tushan18.com | z99345.am | www.040423.com | www.w32031.com | www.wnsr838.com | 00773pp.com | www.865510.com | www.7415hh.com | www.0888js.com | js03.app | www.289917.com | www.55717h.com | www.1111284.com | www.agg8887.com | 4508ll.com | 0156742.com | www.2373c.com | www.ba501.com | www.xpj0978.com | hcp999.com | 563745.com | feicai0511.com | www.15237.cc | www.380870.com | www.837722.com | www.6668.cc | 3662p.com | ygl789.com | www.389233.com | www.71399t.com | www.9170182.com | www.betqam.com | www.h67783.com | 75959s.com | 6076.com | 7605i.com | www.2875d.com | www.56011a.com | www.p9478.com | www.j22365.com | 55331z.com | 56988w.com | sbd023.net | www.649770.com | www.3978q.com | www.7225r.com | www.55466.com | www.sb273.com | 0747z.com | 2222c9.com | a7252.com | 9964p.com | www.960777a.com | www.37377w.com | www.4078o.com | www.786666.com | www.995g.net | 9411ooo.com | 2jsggg.com | 88119f.com | 56988ff.com | wzyxwz.com | www.hj7987.com | www.pujing75.com | www.89777r.com | www.30350c.com | www.fh7.com | www.hg8547.com | www.365699.com | 4955h.com | 0234i.com | 2081.com | www.290727.com | www.939884.com | www.08588n.com | www.68993271.com | www.flb277.com | www.777jyh.com | www.789668.net | www.36989c.com | www.85770r.com | 37570y.com | 98955p.com | 800vns.com | 444000.com | y01234.com | 7003f.com | 5509o.com | pjbeijing.com | www.553398.com | www.961219.com | www.002ac.com | www.52303b.com | www.jsyl.cm | www.48330k.com | www.57366b.com | www.0600x.cc | www.pj9010.com | www.xpj6886.com | www.f32031.com | www.57800c.com | www.8499.com | www.83568t.com | www.67tyc.com | www.hg55ff.com | www.5860n.com | www.900591.com | www.619757.com | www.js3451.bet | www.9679k.com | www.799msc.com | www.7111l.com | www.2846n.com | www.pj7666.com | www.yh8464.com | www.hg978978.com | www.betqam.com | www.61456.com | www.230230zf.com | www.c44oo.com | www.jz787.com | www.673888c.com | www.9997058.com | www.5446q.com | www.win1237.com | www.xj1994.com | www.05088.com | www.66376f.com | www.07929.cc | www.858659.com | www.355811.com | www.68568v.com | 6830u.com | xx888g.com | 5592958.com | alpk8.com | hg8993.com | 678210.com | 2247z.com | www.38200i.com | www.10054455.com | www.61456.com | www.hf9016.com | www.cn365n.com | www.i2894.com | www.150168.com | www.5522j.cc | www.590596.com | j1759.com | aa3336.com | dd4255.com | 6487iii.com | 61999ww.com | www.aicaidd.com | www.09569i.com | www.345066.com | www.848777g.com | www.7340333.com | www.33588x.com | www.763117.com | www.50026o.com | 6601wz.com | hbs226.com | 518cp99.com | www.333222w.com | www.4152f.com | www.68277.com | www.jsc799.com | www.68568d.com | www.778948.com | 1591eee.com | 5856ff.com | js58333.com | 2009t.com | www.hg0399.com | www.glc555.com | www.3691x.com | www.2350t.com | www.177564.com | 00778e.com | 2324fff.com | cp088u.com | www.98333.com | www.1429g5.com | www.bet365195.com | www.799436.com | www.9443.cc | www.156a56.com | www.hong663.com | 97297h.com | hg2088.com | 2805e.com | www.dh87087.com | www.sb5509.com | www.0601c.com | www.586198.com | 033b.net | wnsfw.com | www.txck.cc | www.848777g.com | www.60108f.com | www.177741.com | 01885q.com | 033r.net | www.lj559.com | www.blr3344.com | www.946277.com | 3467y.am | 20167744.com | www.hg72999.com | www.44118p.com | www.hm6788.com | whadqc.com | yy7742.com | www.900692.com | www.8645003.com | www.99jtc.com | lg888888.com | hhhhh333.com | www.82799b.com | www.165888.com | www.394689.com | 28288pp.com | 7js345.com | www.ma1777.com | www.6653d.com | www.50080e.com | 80850l.com | www.28758k.com | www.04567z.com | www.981jc.com | 3mgmrrr.com | 518cp55.com | www.3171114.com | www.89894k.com | 3413366.com | blr89.com | www.feilipu3.com | www.983258.com | ssl.ujiule.com | 3482l.com | www.ff13558.com | www.xjs733.com | www.106280.com | 4303jc.com | www.ssb999.com | www.x88678.com | www.050955.com | 4488yyy.com | www.248247.com | www.yh7773.com | 6245d.com | 0747v.com | www.3846w.com | www.81866q.com | www.bwinyz16.com | www.550274.com | 3846a.com | www.28824s.com | www.t201.com | 91019k.com | 3024t.com | www.4996jx.com | www.599141.com | 4136g.com | www.24075.com | www.68568w.com | 80368oo.com | www.nav.jbb0016.com | www.g3410.com | www.178615.com | 00773u.com | www.2y933.com | www.fcyl4.com | 777hg999.com | www.js737737.com | www.5441e.com | 13222o.com | www.330099l.com | www.bet353655.com | 93996a.com | www.xhtd4455.com | www.16065s.com | 26668l.com | www.xj5577.com | www.350c7.com | dzhcp5.com | 20774488.com | www.4520044.com | 1665456.com | 20177770.com | www.js8600 | 33678dd.com | www.7653.cc | www.9646c.com | 27365c.com | www.5tgpd.com | www.33588t.com | vns55545.com | www.326tk.com | www.c71.cc | 2618z.com | www.346346.com | www.158606.com | feicai0756.com | www.33pjjt.com | d55789.com | www.yinhecc99.com | www.bet73z.com | 8569899.com | www.8rr.com | www.935026.com | 11005s.com | www.m7764.com | feicai0816.com | www.cr1118.com | www.50054m.com | 1702222.com | www.j3566.com | www.501207.com | 922545.com | www.4102o.com | 5003ii.com | www.js60a.com | www.856458.com | 8577b.cc | www.97828t.vip | 626810.com | www.88hm.com | www.562602.com | 588-6.cc | www.dayou566.com | 0099220.com | www.5309678.com | 63305a.com | www.1zbvip.com | www.955381.com | 22296oo.com | www.123679.com | 364870.com | www.27363v.com | 0222.com | www.vb003.com | www.609813.com | 1665h.com | www.61655l.com | bcw1234.com | www.6880ee.com | pj88zz.com | www.998855s.com | yth12.net | www.jz352.com | www.rcw8855.com | hfjxss.com | www.96386t.com | 760hd.vip | www.634505.net | pj88ll.com | www.8967n.com | 139702.com | www.hg7739.com | 0109js.com | www.789199b.com | www.373170.com | www.223456r.com | www.924377.com | hggjtg9.com | www.9155a.com | ff555z.com | www.dayou566.com | byc888c.com | www.8003xl.com | 3392958.com | www.694942.com | 3822n.com | www.4078h.com | y68com | www.hg8gg.com | 3405v.com | www.673888p.com | 2490s.com | www.64566f.com | 50038q.com | www.30350w.com | 9007893.com | www.12136x.com | 67890s.com | www.661365.cc | 00uu8331.com | www.50788b.com | 3121dd.com | www.qmkl6.com | www.ylg268.com | www.904829.com | www.707365.com | www.338057.com | www.2061vv.com | 79964d.com | www.4632.com | 11005h.com | www.hg8ss.com | 77463.com | www.amjs449.com | w5556944.com | www.27775.cc | www.008833.cc | www.332807.com | www.ylg424.com | 8970399.com | www.5099ff.com | hg0266.com | www.388158.com | 2127.com | www.c5237.com | www.87680p.com | blr2033.com | www.20199ii.com | 500000571.com | www.77427.com | 8189891.com | www.914901.com | www.749msc.com | 5003ll.com | www.0169h.com | pj00qq.com | www.60007m.com | www.nnn801.com | www.235944.com | www.2244-0880.com | 5456.com | www.68203dd.com | 21866n.com | www.369073.com | www.727000e.com | js999js.com | www.vn888567.cc | xinhao999.com | www.192722.com | www.448965.com | 9646k.com | www.86267b.com | www.pjxianggang.com | 13134688.com | www.686102a.com | 5309o.com | www.973390.com | www.jf600.com | x9186.com | www.5856889.com | 8294l.com | 6601234.com | www.848777s.com | 00446132.com | www.626212.com | www.0724drf.com | 4270yy.com | www.00665c.com | www.05125b.com | 80850xx.com | www.37377q.com | www.00217g.com | 168cp-c.com | www.wns123c.com | mgm3242m.com | tyc1318.com | www.4078i.com | js3032.com | www.477575.com | www.lm55.com | qifa168.net | www.496918.com | www.ggp.99233p.com | ylzz3338.com | www.607356.com | www.94099.com | 3522x.vip | www.585065.com | www.138cpg.com | 00ii8332.com | www.319075.com | www.00618e.com | 9995u.cc | 79964d.com | www.820568.com | www.77764400.com | yh888l.com | www.pujing95.com | www.cai73dd.com | 8977kk.com | www.2373q.com | www.773456.com | cc3336.com | 3156jjj.com | 2506q.com | www.55676t.com | www.wnsr280.com | 6137m.net | www.5484f.com | www.hg8235.com | 65786578.net | www.96386v.com | www.40288n.com | www.10071007.com | 38238m.com | www.686vv.com | www.01885b.com | k86811.com | 2222k33.com | www.js00558.com | www.pj8790.com | pp67890.com | www.401279.com | www.9895j.com | www.wns911.com | 6668449.com | www.853548.com | www.89599x.com | 18775d.com | 996622hh.com | www.c6092.com | www.4963xx.com | 12742s.com | 1654qq.com | www.c139.vip | www.hg8bb.com | www.pj2026.com | c388n.com | www.c760c.com | www.b12189.com | www.1019992.com | 4880q.com | www.550637.com | www.33959.com | www.32666k.com | 7599ff.com | gh7104.com | www.68568b.com | www.35252r.com | 881381.com | 8569811k.com | www.424988.com | www.7920r.com | www.hga8181.com | 11yy8332.com | 66883885.com | www.919309.com | www.792050.com | 9895u.com | www.68cc3.com | www.01885f.com | 20058.com | 0343q.com | www.133615.com | www.3978m.com | www.66c668.com | www.kf318.com | vv879202.com | www.055973.com | www.q93777.com | www.658300.com | www.9374x.com | 35222mm.com | 55335002.com | www.ck6787.com | www.00878.com | www.24075.com | d3144.com | 22299uu.com | www.26299o.com | www.32123f.com | www.cn365j.com | www.msc99.la | hgyz55.com | pj88ww.com | www.083067.com | www.68568b.com | www.55070c.com | www.60688store.com | BY30837.com | 55331m.com | fhcp127.com | www.096wy.com | www.088365.com | www.hg7760.com | www.514277.com | 25288n.com | 33779193.com | 535app.cc | www.c1981.com | www.0343j.com | www.5360ss.com | www.7830w.com | 2267n.com | 30179944.com | 36989.com | www.508477.com | www.50051w.com | www.l2894.com | www.234894.com | www.995d.net | bb8888-1.com | 3778tt.com | 1634n.com | hr499.com | www.959709.com | www.dyslot.com | www.313965.com | 86811r.com | 55ff940.com | www.652188.com | www.50024b.com | www.86339i.com | www.rycp163.com | www.495w.cc | www.323788.com | 0434355.com | 4018k.com | yyh914.com | alpk66.com | www.422738.com | www.084wy.com | www.yh68073.com | www.yh234b.com | www.jy768.com | www.rf615.com | www.25673d.com | 500000701.com | 7605x.com | 0886.com | 2566h9.com | 33009193.com | www.097928.com | www.901527.com | www.31744.com | www.xj444555.com | www.r999990.com | www.cn365r.com | www.5049t.com | www.69077.com | www.122445.com | www.66yh765.com | 20779966.com | 5443l.com | hd4242.com | 86611h.com | 8547n.com | 8722nnnn.com | 86155.com | 1213ooo.com | 22betbet365.com | xpj66888.com | www.193723.com | www.533786.com | www.919725.com | www.500go.com | www.12455h.com | www.86267b.com | www.2418r.com | www.0343h.com | www.350c9.com | www.12136y.com | www.820014.com | www.5182889.com | www.cn365h.com | www.24199.com | www.7415vv.com | www.4963oo.com | www.331194.com | www.099923.com | www.138cpa.com | www.j948j.com | www.20199kk.com | www.a81f.cc | feicai0777.com | hutu87.com | 29918hh.com | 131x.net | 5003ii.com | 0099341.com | 54443w.com | 20188m.com | 2267h.com | 444000xx.com | 4025r.com | 3846o.com | 7720e.com | 7m365.com | 9149j.com | 8901r.com | www.95msc.com | www.bet1677.com | www.9068aa.com | www.f888c.com | www.3090789.com | www.mm6666.com | www.wns3558.com | www.163a5.com | www.bwinyz27.com | www.294218.com | www.9988kcd.com | www.5958115.com | www.99788g.com | www.5441t.com | www.983003.com | www.544086.com | www.090392.com | 99008448.com | 068789.com | 61772222.com | 39199w.com | wz11939.com | 2934a.com | www.vns9981.com | www.v771177.com | www.3l94.com | www.389249.com | www.4196x.com | www.j63568.com | www.87668p.com | www.31czj.com | www.589196.com | 6698510.com | 4052s.com | hg008.am | w86811.com | 1hg7788.com | www.pj85993.com | www.tb970.com | www.sbd023.net | www.hg1777.com | www.77802t.com | www.c130.vip | www.092603.com | www.167090.com | 88021.com | 9694p.com | 8522wwww.com | www.xjs8895.com | www.v445566.com | www.dzh1133.com | www.4521z.com | www.3978v.com | www.995772.com | www.66332i.com | 2381w.com | hga22200.com | 6220c.com | www.627793.com | 80368gg.com | 1636.com | ylzz3338.com | www.a1a777.cc | www.566455.com | www.8313g.com | www.9996ee.com | www.60fr.com | 6868137.com | 5456.com | 20778888.com | www.hjdc2000.vip | www.48282222.com | www.509261.com | www.55587.com | www.268993.com | 45638.com | t4212.com | www.wn0003.com | www.466799.com | www.5517ccc.com | www.12455n.com | www.133615.com | m83377.com | 7508k.com | www.655666f.com | www.2805.com | www.866067.com | www.653192.com | xx888b.com | xpj677f.com | www.5555wns.com | www.haomen2002.com | www.1350.vip | www.881805.com | 3258r.com | 5856qq.com | www.986686.com | www.155417.com | www.js678.com | www.444539.com | 3659699.com | 256777u.com | www.yh333.com | www.6687c.com | www.022y.cc | 预览66458g.com | 3846ff.com | www.kkwns.com | www.361cp.cc | www.80075r.com | www.52072l.com | 4270ff.com | www.hg66768.com | www.2945h.com | www.yh76m.com | www.106316.com | 2737.com | www.5699v.com | www.56655h.com | www.365101.com | www.101377.com | bogou2222.com | www.b3654.com | www.72710.com | www.26163g.com | 500000335.com | 9901885.com | www.dhy35.com | www.266820.com | www.595707.com | ppjj00.com | www.hg9951.com | www.4963rr.com | www.7782n.com | 7742dd.com | 2141100.com | www.665335.com | www.fg9908.com | www.096610.com | bb40033.com | www.32666k.com | www.491407.com | www.389744.com | www.6880.com | www.716726.com | 62222v.com | www.8494y.com | www.08881.com | www.810601.com | 5589c.com | www.695395.com | www.b32031.com | www.533091.com | 4556j.com | www.777cm1.com | www.966668.com | www.80075a.com | 599hainan.com | www.57798c.com | www.7239z.com | vns8g.com | hg0000.com | www.674886.com | www.c9664.com | 7508z.com | www.00829b.com | www.7920b.com | www.35155a.com | 4182009.com | www.msc44.com | www.yi695.com | 38989h.com | www.9068ww.com | www.9187k.com | xpj6602.com | hgyz66.com | www.918356c.com | www.891079.com | js89h.vip | www.9978qq.com | www.80075h.com | 56987ll.com | www.hg8880.biz | www.130256.com | 074q7.com | 923250.com | www.8hg6668.com | www.370583.com | 3522w.vip | www.g456x.com | www.770490.com | ff8159.cc | www.76775g.com | www.055cp.cc | 143572.com | www.708118.com | www.36788m.com | 3404p.cc | www.hg1187.com | www.55885n.com | 9411sss.com | www.58557q.com | www.39500c.com | 8668yh.com | www.6834j.com | www.07163j.com | 22cc8332.com | www.qq349.com | www.47d.cc | 3435a.com | www.0666pj.com | www.703602.com | jinsha.tm | www.8850w2.com | www.170955.com | 30007t.com | www.467155.com | 2229649.com | www.70669d.com | www.16065m.com | 20770033.com | www.vns7330.com | www.1035j.com | 23456.cc | www.9dcp.com | www.083019.com | gbhs33.com | www.126629.com | 5906hh.com | www.ojinsha.com | www.8299.cc | 4288jj.com | www.9737ee.me | 11989v.com | www.333222h.com | www.83033c.com | 9646l.com | www.799666h.com | www.196046.com | 7335h.com | www.192818.com | 4116p.com | www.kb9996.com | www.179223.com | 1064.com | www.688202.com | www.l32031.com | 5003jjj.com | www.7025r.com | www.19kpl.com | ylzz2225.com | www.294218.com | 80567b.com | www.836666e.com | www.731066.com | 2247ee.com | www.42842817.com | 3157777.com | www.jxcp2222.com | 9958922.com | www.9976733.com | www.1333ac.com | 80368t.com | www.883399b.com | 33779193.com | www.9404077.com | www.33997a.com | www.yinhe9507a.com | www.1368z.cc | wns4.net | www.80030077.com | pp8662.com | www.4694n.com | 83086u.com | www.58695.com | www.261793.com | www.yl78776.com | www.2632q.com | zhcp65.com | www.7449cc.com | 9068u.com | www.69989a.com | yun999.com | www.8k315.com | 89777j.com | www.333550.com | www.41518v.com | www.114suncity.com | www.668566.com | www.hg988800.com |