πfs（pifs）是一个数据库无关的文件系统。πfs 绝对是个创新性文件系统，不会花费硬盘空间来存储你的数据，而是把数据存储到 π 里面。你将不会再把硬盘空间耗尽 —— π 存储的每个文件都在，因为 π 是无限不循环，只要找到存储数据的指针就可以了。[......]
πfs｜无需数据存储的文件存储解决方案
回复
标签归档：存储
Redis
Redis 是一款依据BSD开源协议发行的高性能Key-Value存储系统（cache and store）。它通常被称为数据结构服务器，因为值（value）可以是 字符串(String), 哈希(hashes), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型。
http://www.redis.cn/
虚拟机存储路由器Open vStorage
Open vStorage 是一个开源的虚拟机存储路由器。这是一个软件层，安装在运行了虚拟机的主机或者集群节点中。这些虚拟机存储路由器 (VSRs) 就像一个使用了闪存、SSD 或者是类似 S3 兼容的对象存储、分布式文件系统和 NAS 的网格。概念上 Open vStorage 类似 VMware 的 vSAN。但 Open vStorage 可灵活的利用多个存储后端，而不只是本地的磁盘，支持多个虚拟化系统。
https://www.openvstorage.com/
[......]
NAS（网络附属存储）
NAS（Network Attached Storage：网络附属存储）按字面简单说就是连接在网络上，具备资料存储功能的装置，因此也称为“网络存储器”。它是一种专用数据存储服务器。它以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而释放带宽、提高性能、降低总拥有成本、保护投资。其成本远远低于使用服务器存储，而效率却远远高于后者。目前国际著名的NAS企业有Netapp、EMC、OUO等。[......]
分布式存储系统Tachyon
Tachyon 是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，类似Spark和 MapReduce。通过利用lineage信息，积极地使用内存，Tachyon的吞吐量要比HDFS高300多倍。Tachyon都是在内存中处理缓存文件，并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件。[......]
存储性能瓶颈的成因、定位与排查
HBase
HBase是一个分布式的、面向列的开源数据库，该技术来源于Chang et al所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop 项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。[......]
phpredis
BigTable
Hadoop
一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。[......]
Redis
Redis 是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hashs（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，Redis 支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是Redis 会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。[......]
TAIR
Tair是淘宝开源的分布式KV缓存系统，内部将功能模块化，抽离出底层存储细节，可以接入不同的存储引擎。leveldb是Google开源的单机存储引擎，目前，已经作为Tair的持久化存储引擎ldb上线使用，这里对接入leveldb所做的处理以及修改进行介绍。
Tair首先是一个分布式的框架，有一系列策略满足CAP（数据备份，迁移复制等）。另外，还有针对应用场景的功能特性（namespace，数据过期时间，原子计数等）。接入leveldb时主要对KV操作之外的功能做相应的处理。leveldb本身的实现介绍参见leveldb实现解析。[......]
TFS
TFS是什么
TFS，Taobao File System，淘宝内部使用的分布式文件系统，主要针对海量小文件的随机读写访问性能做了特殊优化，承载着淘宝主站所有图片、商品描述等数据的存储。[......]
应用程序扩展性实现的十宗罪
可扩展性方面专家Sean Hull曾发表文章指出实现可扩展性的五大毒药，最近他又指出了实现可扩展性的五大致命错误。
一、缓慢的磁盘I/O - RAID 5 -多用户的EBS。RAID 10可以提供良好的数据保护，同时具备良好 的读写性能。RAID 5设计意味着性能差，失败后修复时间长。在AWS上考虑使用预设的IOPS解决IO瓶颈问题。
二、使用数据库存储作业队列。数据库看起来很适合存储作业队列，但是轻负载的锁定以及日常的扫描 工作都会影响性能。使用类似RabbitMQ和SQS的专业软件可以消除这个瓶颈。[......]
海量网络存储系统原理与设计
本书整体分为三个部分：首先，从存储系统整体上高度分析了存储系统的层次性物理与逻辑结构、各种标准存储接口、存取路径及其常用的设计评价原则和方法；其次，从设备、单节点系统和大规模存储系统三个层次分别讨论基本原理和概念、当前的国内外状况、设计和评价方法，然后给出详细的设计实例；最后，针对海量存储系统中的实际功能需求讨论了若干关键问题，包括海量存储系统可靠性和可用性，存取安全和连续数据保护等，在每个专题中给出一些具体的设计优化和实现方案的例子。 [......]
