标签归档：ODPS

ODPS简介

发表于 由
回复

开放数据处理服务(Open Data Processing Service，简称ODPS)是阿里巴巴自主研发的海量数据处理平台。主要服务于批量结构化数据的存储和计算，可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。 随着社会数据收集手段的不断丰富及完善，越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百GB、TB、乃至PB)级别。 [......]

阅读全文

ODPS的特点和优势

发表于 由
回复

高计算性能
海量数据存储与大规模离线数据分析服务基于MapReduce框架支持直接使用SQL语句对海量数据进行离线分析。通过数据分裂将海量数据散布在整个集群内部，这样，用户的数据容量的瓶颈问题得以解决。同时计算压力也被平均分布在集群内部，也很好的解决了计算性能问题。
系统稳定
系统提供错误监控机制，对于故障[......]

阅读全文

ODPS的概念和模型

发表于 由
回复

整体而言，ODPS服务包含以下这些概念：

帐号（Account）：用户到aliyun.com申请注册统一帐号，并购买开通ODPS 服务。拥有统一帐户和必要权限后，系统会分配确保数据和计算安全的AccessID 和AccessKey的安全加密对。用户就可以通过ODPS命令行工具(odpscmd)、SDK开发包或者Web API创建属于该帐号的项目（Project）。

项目（Project）：项目是ODPS最基本的组织对象。其他常见资源，例如[......]

阅读全文

什么是ODPS

发表于 由
回复

开放数据处理服务(Open Data Processing Service，简称ODPS)。ODPS是构建在大规模分布式计算系统上的数据处理服务。ODPS以REST API的形式，支持用户提交类SQL的查询语言，对海量数据进行处理。与强调实时性的阿里云OTS 服务不同，ODPS重点面向数据量大（TB级别）且实时性要求不高的离线处理，适用于构建数据仓库、海量数据统计、数据挖掘、数据商业智能等互联网应用。