an ida-based parallel storage scheme in the scientific data grid

مخطط تخزين متوازٍ قائم على خوارزمية IDA في شبكة البيانات العلمية

Clicks: 217
ID: 186091
2010
Free PDF
Article Quality & Performance Metrics
Overall Quality
Not rated
Combines reader engagement with the AI quality analysis. This article has not been analysed, so there is no overall score — reader engagement is measured and shown alongside.
AI Quality Assessment
Not analyzed
Readership in this journal
Steady

Ranked #207 of 292 articles by views in Proceedings of the National Academy of Sciences of the United States of America

Most read Least read

Bar heights use a square-root scale. Only the 120 most-read articles are drawn; the journal has 292 in total.

Mint this article as an NFT
Not yet minted

Create a permanent, verifiable on-chain record of this article on the Scimatic Network. The NFT is held in your Journament account, and you can withdraw it to your own wallet at any time.

5 SUSD one-off · no wallet required
Sign in to mint
Abstract
It is important to improve data reliability and data access efficiency for data-intensive applications in a data grid environment. In this paper, we propose an Information Dispersal Algorithm (IDA)-based parallel storage scheme for massive data distribution and parallel access in the Scientific Data Grid. The scheme partitions a data file into unrecognizable blocks and distributes them across many target storage nodes according to user profile and system conditions. A subset of blocks, which can be downloaded in parallel to remote clients, is required to reconstruct the data file. This scheme can be deployed on the top of current grid middleware. A demonstration and experimental analysis show that the IDA-based parallel storage scheme has better data reliability and data access performance than the existing data replication methods. Furthermore, this scheme has the potential to reduce considerably storage requirements for large-scale databases on a data grid.
من المهم تحسين موثوقية البيانات وكفاءة الوصول إليها للتطبيقات كثيفة البيانات في بيئة شبكة البيانات (Data Grid). نقترح في هذه الورقة البحثية مخطط تخزين متوازٍ قائماً على خوارزمية تشتيت المعلومات (IDA) لتوزيع البيانات الضخمة والوصول المتوازي إليها في شبكة البيانات العلمية. يقوم هذا المخطط بتجزئة ملف البيانات إلى كتل يتعذر التعرف عليها، وتوزيعها عبر العديد من عُقد التخزين المستهدفة وفقاً لملف تعريف المستخدم وظروف النظام. وتلزم مجموعة فرعية فقط من هذه الكتل، والتي يمكن تنزيلها بالتوازي إلى العملاء عن بُعد، لإعادة بناء ملف البيانات. يمكن نشر هذا المخطط فوق البرمجيات الوسيطة الحالية للشبكة. يُظهر العرض التوضيحي والتحليل التجريبي أن مخطط التخزين المتوازي القائم على خوارزمية تشتيت المعلومات يتمتع بموثوقية بيانات وأداء وصول أفضل مقارنةً بطرق تكرار البيانات الحالية. علاوة على ذلك، يمتلك هذا المخطط القدرة على تقليص متطلبات التخزين لقواعد البيانات واسعة النطاق في شبكة البيانات بشكل كبير.
Reference Key
lu2010dataan Use this key to autocite in the manuscript while using SciMatic Manuscript Manager or Thesis Manager
Authors ;Weizhong Lu;Yuanchun Zhou;Lei Liu;Baoping Yan
Journal Proceedings of the National Academy of Sciences of the United States of America
Year 2010
DOI
10.2481/dsj.009-006
URL
http://datascience.codata.org/articles/128
Keywords
storage

Citations

No citations found. To add a citation, contact the admin at info@scimatic.org

Comments

No comments yet. Be the first to comment on this article.