Hadoopが金融のメインストリームへ (Whitepaper要約)

 

“Bringing Hadoop into the banking mainstream”はグローバル銀行が技術、商習慣、規制を如何に乗り越えてHadoopをミッションクリティカルなアプリに使用しているかの事例です。詳細は以下のURLを参照ください。

https://www.brighttalk.com/webcast/11809/134895

背景:

事例の銀行は北米、ラテンアメリカ、ヨーロッパ、アフリカ、APACで事業を展開、従業員は225千人、資産はUS$2500M。保有するアプリは数千。Hadoopを導入し大幅なコスト削減を達成している。しかしながら何人かのIT担当役員はHadoopの成熟度に懸念を示していた

挑戦:

この銀行が感じているHadoopの主な問題点は以下のとおり。

・バックアップ、信頼性、クラスタ間・地域間でのデータ一貫性

通常、DistCPをベースとしたツールが使われているが、高負荷で他のアプリに影響を与えてしまう。このためバックアップをとるのは1日1回が限度となっている。ロードバランサーで工夫はできるが、復旧不能なデータロスも起こる。こうした状況は規制の観点から受け入れられないところである

・混在するワークロードでの性能保障

いくつかの重要なリアルタイムアプリをインメモリで動かそうとするが、Hadoopはクラスタ内にゾーンを作ることができない。このため、次のような問題が発生する。①すべてのアプリをハイエンドサーバで動くようにすると予算オーバ ②ハイエンド、ローエンドサーバの組み御合わせて全てのアプリを動かすと重要なアプリに最適化されない ③アプリの特性毎に個別クラスタを作ると冗長、柔軟性欠如であり運用費もUP

・データレイクとプライバシー保護法

EUの一部、アルゼンチン、サウジアラビア他では個人情報を国外に転送することを法律で禁止。Hadoopでグローバルな分析を行う際にDistCPでデータを移動することができず、特別なアプリが必要になってしまう

・複数地点のデータのタイムリーな解析

標準的なHadoopではデータをいくつものサイトからコピーする必要があり、時間がかかるし、信頼性も問題となる

解決策:

Non-Stop Hadoopは以下のような特長があり、銀行の要望を満足

・可用性とデータの一貫性保障による規制への準拠

いくつもの規制は特定のデータが常に利用可能であることを要求。バックアップ、ディザスタリカバリが必要であり、かつそのデータが元データと整合していることが求められている。Non-Stop HadoopのActive-Active複製がソリューションとなる

・コンピュータリソースを100%利用する事によるコスト削減

Active-ActiveアーキテクチャによりすべてのサーバはRead/Write可能。従い、Read Onlyのバックアップ・ディザスタリカバリセンタをアプリからも使用できる。

・データ保護規制への準拠

Non-Stop Hadoopは複製する範囲を選択可能。また、複製しないデータについては、ローカルに存在しないときはデータのあるセンタをアクセスします(WAN/LAN経由)。従い、不正検出、マーケット解析をグローバルなデータセットで規制に準拠しつつ、実行可能

・クラスタゾーンによる性能最適化とコスト削減

Non-Stop Hadoopは仮想クラスタを作れます。ハイエンドサーバからなる仮想クラスタをキーとなるデータセンタ内につくり不正検出、マネーロンダリング防止のアプリを動かしている。大きなHWへの投資なしにクリティカルなアプリの性能の担保をすることが可能

・高速、高信頼のデータ複製と複数データセンタでのデータロード

データはどこのセンタで投入されても任意の数のデータセンタに複製が自動的に作成される。DistCPでのコピーする際に発生しうるエラーや運用者の負荷が下がる。一方、クライアントアプリはLANスピードでのRead/Writeが可能。銀行の顧客(攻撃もふくめ)は多国籍になってきており、例えば不正検出をグローバルベースで行うことがクリティカルです。

avatar

About Kenji Ogawa (小川 研之)

WANdisco社で2013年11月より日本での事業を展開中。
以前は、NECで国産メインフレーム、Unix、ミドルウェアの開発に従事。その後、シリコンバレーのベンチャー企業開拓、パートナーマネージメント、インドでのオフショア開発に従事。

0 Responses to “Hadoopが金融のメインストリームへ (Whitepaper要約)”


  • No Comments

Leave a Reply