こんにちは。Android の横幕です。Android が好きすぎて、来る日も来る日もアプリの実装が頭から離れず、毎日7〜8時間ほど睡眠をとっていますが全く疲れがとれた気がしない今日このごろです。はやく iOS のアプリ開発を覚えたいですが、まだ NSLog の使い方を覚えたばかりです。

さて、先日スマートフォン開発研修教材の公開についてでも触れましたが、Android・iOS のアプリ開発を始める人向けのトレーニング資料を公開しましたところ、以下のブログのような反響をいただきましたので、この場でもって回答をさせていただきたいと思います。

mixiのアプリの設計がよくわからない
…

こんにちは。Android の横幕です。Android が好きすぎて、来る日も来る日もアプリの実装が頭から離れず、毎日7〜8時間ほど睡眠をとっていますが全く疲れがとれた気がしない今日このごろです。はやく iOS のアプリ開発を覚えたいですが、まだ NSLog の使い方を覚えたばかりです。

さて、先日スマートフォン開発研修教材の公開についてでも触れましたが、Android・iOS のアプリ開発を始める人向けのトレーニング資料を公開しましたところ、以下のブログのような反響をいただきましたので、この場でもって回答をさせていただきたいと思います。

mixiのアプリの設計がよくわからない
…

1.ARCHITECTURE


 The Databus architecture is split into four logical components.

• a fetcher which extracts changes from the data source or another Databus component,

• a log store which caches this change stream,

• a snapshot store which stores a moving snapshot of the stream, and

• a subscription client which pulls change events seamlessly across the various components and surfaces them   up to the application.

2.Oracle Adapter


  A simple approach to get the change log from Oracle is to have a timestamp …

Twitter's new tweet store:

When you tweet it's stored in an internal system called T-bird, which is built on top of Gizzard. Secondary indexes are stored in a separate system called T-flock, which is also Gizzard based.

Unique IDs for each tweet are generated by Snowflake, which can be more evenly sharded across a cluster. FlockDB is used for ID to ID mapping, storing the relationships between IDs (uses Gizzard).

Gizzard is Twitter's distributed data storage framework built on top of MySQL (InnoDB).

InnoDB was chosen because it doesn't corrupt data. Gizzard us just a datastore. Data is fed in and you get it back out again.

To get higher performance on individual nodes a lot of features like binary logs and replication are turned off. Gizzard handles sharding, replicating N copes of the data, and job scheduling.

Gizzard is used as a building block for other storage systems at Twitter. …

索引在我们数据库设计中至关重要，它设计的好坏决定了后期性能，因此整理了一些资料分享给大家，希望对大家有所帮助。

Oracle index内部原理：

http://www.juliandyke.com/Presentations/IndexInternals.ppt

Mysql index内部原理：

http://forge.mysql.com/wiki/MySQL_Internals_InnoDB

以下是最近论坛中关于MYSQL innodb索引的一些讨论。

对InnoDB存储引擎的索引的疑问

http://www.itpub.net/thread-1509353-1-2.html

一个SQL语句优化背后的故事

…

This week we introduced the Open Sharding Protocol (OSP), an open source protocol designed specifically for plug-compatible database drivers which support the full capabilities of database sharding. OSP is the foundation of the dbShards 3.x architecture, something I’ll be talking about a lot at the Cloud Computing Expo West, Nov. 7-10 and in the coming months as we continue to introduce leading advances in dbShards technology.

There are many approaches to database sharding, but they all agree on one principle: all modern scalable database architectures (RDBMS, NoSQL, “NewSQL”) rely on scalable, horizontal partitioning to accomplish ultra-high performance. As you probably know, we have been in the sharding game for many years, and early research we performed proved that a “share-nothing/shard-everything” architecture is unbeatable when it comes to overall performance and throughput. This is even more powerful with our Relational …

  为了满足业务增长和服务能力的增长，我们需要必要的sharding操作，通过水平或者垂直的切割将系统分别放置于不同的物理机器上，从而达到很好的扩展性，也为业务的发展提供技术保证，那么看似简单的sharding，在应用层次需要做那些工作呢？
   在详细描述之前，我们需要定义以下两件事：
    （1）定义sharding的方式，设定我们需要sharding模式是通过SQL方式访问数据库。
    （2）定义SQL访问时sharding的精细度，即需要SQL解析的模式还是简单的数据源绑定模式，不同的实现方式其实现复杂度也完全不一样。
  接下来我们开始详细讲解数据源绑定模式和SQL解析模式的具体实现方法。
…

  很多时候大家都希望用一套通用的方法解决业务数据的查询问题，这样的思路没有错误，都是希望通过简单的方法实现数据架构，但如果通用方法没有考虑业务数据分布的特性时，那我们就会遇到一些无法胜任的大数据量查询，而这样的数据架构往往无法给予解决。此时看到前端设计师疼苦的表情时，就知道我们再一次“强奸”了他们的设计，或许我们能够说服前端进行一些修改而满足我们的架构，但当我们这样的架构无法满足客户的需求时，这样的架构可能无法面临失败的结局。
  作为一名数据架构师，我们早期就应该考虑到业务数据分布的特殊性，如果没有考虑到，将会是致命的。那么我们该如何发现并能够早期解决这样的问题呢？下面我们以具体的案例来介绍说明。
  案例一：select * from user where email like …

最近为了解决一技术问题，使用了Force.com Multitenant Architecture，在此详细说明下Force.com 的架构，具体的白皮书可以从下面的URL获取：(http://wiki.developerforce.com/index.php/Multi_Tenant_Architecture)。
   
Force.com Multitenant 架构的最大亮点在于，将数据索引化,一个存储数据的表，一个用于索引数据的表，再加上一系列存储元数据的表；每次的业务数据的查询首先查找元数据表，然后再改写成具体的查询语句到具体的数据表和索引中进行联合查询，这样SQL语句的执行计划固定，它一定是一个数据表加上一个索引表的join操作，非常适合于OLTP系统，具体的表ER图如下：

…

I want to realize the oracle replicate to mysql,oracle as a master DB which provide write and mysql as a slave which provide read,how to realize it?

First, we install the oracle database gateway(11g,DG4ODBC) on oracle DB server,we can download from oracle company and get the install document from oracle metalink;

Second,we install unixodbc and mysqlodbc on the oracle DB server.
Thirdly,we configure the ODBC and DG4ODBC.

thirdly, we create trrigers on all tables and create a table to save the replication data.

the trigger code example as following:

CREATE OR REPLACE TRIGGER tr_repl_test_repl_mysql
   AFTER INSERT OR UPDATE OR DELETE
   ON test_repl_mysql
   FOR EACH ROW
   DECLARE
   v_errm              VARCHAR2 …