震災から5年、もうひとつの震災の影響でもあり、「金融界の福島第一原発」ともなった、みずほ銀行基幹系システムSTEPSの大障害から5年が経とうとしてるしてるわけであるが、未曾有の被害と教訓を残しながらも、対策というと今だ道半ばといったところであり、大いに反省が求められるところである
— (๑╹◡╹๑) (@tsuchie88) 2016年3月10日
みずほの中枢、印旛沼データセンターだ。大手町タワーなどガラクタに過ぎん。みずほの全超大型メインフレームがここに結晶しているのだ。#天空の城みずほ pic.twitter.com/Vrnwiq5whJ
— (๑╹◡╹๑) (@tsuchie88) 2016年1月15日
みずほ銀行にバルス!と言ってはなりません。天空の城みずほのオンラインが止まってしまいます。#天空の城みずほ pic.twitter.com/0mr7oYr9tY
— ユーロ売りはんぱない (@euroseller) 2016年1月15日
処理能力の問題なのか、と言う話をすると明確に違うと言える。わしの記憶が確かならば、勘定系システムのハードウェアは統合前に更新されたGS8900系だったと思うのでこの時点で10年前のハードとなるが、障害の原因としては挙げられていなかったと思う
— (๑╹◡╹๑) (@tsuchie88) 2016年4月15日
そもそもこの障害の発端は何か、というと良く知られているように、震災発生直後のみずほ銀行東京中央支店に開設された某義捐金振込口座(通帳式)への振込の集中にある。通帳式口座には、通帳の繰越処理などで一日の取引数には実質的な上限があり、一般的には取引が多い口座はリーフ式を使う
— (๑╹◡╹๑) (@tsuchie88) 2016年4月15日
さまざまな理由で、この口座は通帳式の設定になっていて、通常の取引では上限を超えることはなかったのだけど、震災直後の義捐金に呼びかけにより振込が集中。設計上の上限を超えた取引が発生したために、夜間バッチ処理がABEND(異常終了)した。
— (๑╹◡╹๑) (@tsuchie88) 2016年4月15日
ABEND 3800,REASON=12 #天空の城みずほ pic.twitter.com/rRG2BGrT9K
— (๑╹◡╹๑) (@tsuchie88) 2016年1月15日
バッチのABENDが発生すると、バッチによっては後続のバッチ処理が開始できないと言う自体が発生する。バッチ時間が想定された時間に終了せずに、オンライン時間まで持ち越されてしまう状況を、俗にバッチの突き抜けという。
— (๑╹◡╹๑) (@tsuchie88) 2016年4月15日
銀行に限らず、企業の基幹系システムではバッチ処理のABENDは発生を想定しておくものであり、実際に発生したらリカバリを計画するまでがシステム運用のキモになる。バッチの突き抜けは最も避けるべき最悪の状況で、オンラインを開始する前提としてバッチ処理が正常に終了している必要がある
— (๑╹◡╹๑) (@tsuchie88) 2016年4月15日
正常にバッチ処理が終了していないのに、オンライン開局を行って更新処理を行ってしまうと、さまざまなデータが不整合になってしまう危険がある。また、オンライン処理と言うのは非常に負荷が高いので、同じように負荷が高いバッチ処理と並行して行うのは大変に危険なことになる
— (๑╹◡╹๑) (@tsuchie88) 2016年4月15日
もちろん、処理によってはオンライン開局後に平行してバッチ処理しても大して問題にならないものもある。バッチ処理は、その処理の重要性によってリスク評価を行い、ANEBD時にどのような対応を行うのか、マニュアル化や処理の自動化を行うのが普通
— (๑╹◡╹๑) (@tsuchie88) 2016年4月15日
通常は起こりえないトラブルなのだけど、原因がわからないABENDが発生して、後続するバッチがとまってしまった状態で、オンライン開局までのデッドラインを過ぎてしまった段階で、バッチが正常終了してない状態でオンライン開局を優先してしまったのがその後一週間に及ぶ大規模障害の始まりだった
— (๑╹◡╹๑) (@tsuchie88) 2016年4月15日
バッチ処理というのは、バッチ単体で処理が計算結果を元に後続のバッチ処理が動くという複雑な関係があるので、その実行には運行管理用のミドルウェアを使って高度に自動化されている。多少処理が遅れても、後続の処理がうまく動けば問題ないが、ABENDするとリカバリ操作が必要になる
— (๑╹◡╹๑) (@tsuchie88) 2016年4月15日
一番問題だったのは、ABENDしたバッチのリカバリ処理に時間をとられて後続のバッチが実行でいない状態で時間がすぎてしまい、突き抜けが確実になった段階でオンライン開局を優先するために、自動ではなく手動でバッチを実行したために不整合なデータを前提にオンラインが稼動したことだ
— (๑╹◡╹๑) (@tsuchie88) 2016年4月15日
本来ならば、ABENDしたバッチを異常原因を解明して正常終了させ、多少オンライン開局を遅らせてでも後続バッチを自動運行するのが筋だったと思うのだけど、震災直後の初営業日という特殊な状況にあって、オンライン開局を優先してしまったことだ
— (๑╹◡╹๑) (@tsuchie88) 2016年4月15日
手作業によるバッチ実行とスケジューリングとなるとどうしてもミスが発生するし、運用人員が想定していない事態も発生する。不整合なデータがある状態でオンラインが開局して、オンライン処理が次々にトラブルが発生する。オン中バッチでもABENDが多発した
— (๑╹◡╹๑) (@tsuchie88) 2016年4月15日
こうなると、まさに地獄絵図になる。オンラインは良くて処理が遅れ、最悪いつまでも終わらない。バッチはANEBDする。現場からは怒号じみた問い合わせ、何回実行しても応答しないタスク、それから合わない数字。2011年3月14日から始まる地獄の1週間のはじまりである
— (๑╹◡╹๑) (@tsuchie88) 2016年4月15日
大丈夫。次期システム開発は、極めて順調ですよ。 #天空の城みずほ pic.twitter.com/dEi3x81upE
— (๑╹◡╹๑) (@tsuchie88) 2016年1月15日
※みずほファイナンシャルグループ社長、佐藤康博さんのイメージ
神秘かつ壮大な銀行システム建造物、みずほ銀行の「桜田ファミリア」 http://t.co/jxEfdTckaG
— 全力2階建 (@kabumatome) 2014年2月27日
たぶん佐藤さまはとがったこのへんにいるんだろ? pic.twitter.com/QAYsVXqILB
— トビー (@M_alliavin) 2015年11月9日
「準備に一年半」
「One Mizuhoの一体感を醸成するのが狙い」
「参加者からはみずほグループの絆が深まったと感想が相次いだ」
そもそもONEみずほなんだから、MじゃなくてOだろ
— ホクソスゴイエロス (@teramonagi) 2015, 11月 9
過酷な開発から脱落していくエンジニアたち#天空の城みずほ pic.twitter.com/lhQeRTolmZ
— ((☛(ひわい)☚)) (@blu_you) 2016年1月15日
コメント
コメント一覧 (55)
福島
みずほ
が日本どころか世界で問題になっていたんだよな
申し訳ないが唐突な自分語りは
富士通だけど普通に使いまっせ。
ABENDって、なあに?
って、IBM用語か。
キモいから巣に帰れよ。この程度で自分語りとか言い出したら何もコメント出来ん
下請けは把握していたところで、問題点を指摘しても、給料上がるわけでもないし、仕事が増えるだけ。
さらに問題点を改善すると下請けは切られる。
現状でも経営できてるんだから、別に良いんじゃね?ってなるよね。
ABEND=ABnormal ENDの略
IT業界では共通用語、、、のはず
テロップでみずほ銀行の口座に支援金の振込みを案内してたフジテレビは鬼だと思った
金融系SEやってるが、言葉は知ってても使ったことないわ。IBM用語は常識と呼ぶにはローカルすぎる。
下請け任せ過ぎて、問題把握不能が本当ならそっちの実情を知りたいとこだが、アフィの本に書いてんのかな。
IT業界でもいわゆる「基幹系システム」と呼ばれる、
汎用機やオフコン、もしくはその流れを汲むシステム限定の用語だな。
それ以外の世界の人に言っても、「なにそれ?」って普通に言われてしまう・・
異常終了した
落ちた
コケた
とか言う
それとも仕事してる振りしてんのか?月曜日から客サ行くか?それともローンやりたいのか?
代理:だめですよ課長、コイツには客サすら任せられませんってw宝くじの呼び込み位しか出来ませんよw
課長:そうだな、じゃあ今日1日外立っとけ。声出さなかったらうちの課クビな。それが嫌なら辞めてくれ。
あととりあえずお前その机空けろ、一年生に使わせた方がまだましだからな。パソコンの中身も消せ。検査怖いし。
代理:おい、宝くじやってたから数字行きませんでしたは通用しないからな!てめえ、自分でやるって言ったんだから数字はやれよ!
先輩:呼び込みのあとコピーとファイル整理あるからダラダラしてんじゃねえぞ。課長も俺も昼飯食ってないからお前にも休憩なんて絶対とらせねえぞ。
あと忘れずにパソコン切れよ、お前には時間外つけさせねえからな。
代理:おい…さっきから何だてめえそのふてくされたツラはよ?!自分が不遇だと思ってんのか?
今のてめえにはこれが相応の扱いなんだよ。認められたかったら這い上がれるよう努力しろよ?
課長:お前にはもうそういう気持ちもないんだろ?どうせ甘やかされて育ったんだろうな。
やる気ないんなら辞めてくれ。お前なんかと一緒に仕事したくないからよ。どうなんだ?あ?
とあるメガバンク(みずほ)支店の日常
それ自体は善でも悪でもないが、そういうシステムのクオリティは大抵…
ここのブランチサーバ保守してたけど、支店の勘定系は2系統あるんだけどサーバは同時に電源OFF/ONしなきゃいけない決まりで落とす時はbatで落とすんだけど
画面切り替えながらほぼ同時に実行
電源入れる時は、UPSの電源ボタン同時押しという超アナログ運用だったな
トランザクションが無茶苦茶になるのは誰でも分かるはずなのに。
体質は変わってなかったということだねぇ
銀行のシステム部門てITに詳しいからとかでなく単純にただの左遷先になってて全ての案件がメーカーにお任せ。
システム障害起こっても対応にあたってる部門でなければ対岸の火事といった感じですかね。
システムどころか銀行のパソコンて処理量増えてるのにケチって設備増強しないからインターネットでさえよくフリーズするんだよな(笑)
旧新光証券のシステムをそのまま使ってる。
エンプラに縁が無いとピンとこないのは分かるけど。
通帳式にした意志の源流探して特定しよーよ。すっげー知りたい。常識以前の問題だと思う。
でもゼロ金利時代に貴重な配当利回りくれてありがとうみずほ。
使ってくれる大量の情報○者さんのおかげてもらう配当おいしいお。
適当に気に入らないやつかどんくさそうなやつをターゲットにして
経験不足につけこんで、絶対に終わらないように調整されたタスクを振って
その実績をネタに、パワハラいじめを正当化し雑用や割の良くない仕事を全て押しつけてストレス解消し、
下僕、奴隷を生み出すことで自分たちの組織の緩衝弁にしている
よくある風景
お前が言う最先端の技術って何のことだよ
知らないと恥ずかしいレベル
え?俺?たぶん31だよね!?
銀行のシステムなんかただ単に間違いなく入出金、振り込み先が間違えずにできればそれでいいんだから最先端のシステムなんていらないんだよね。ほらATMの画面や機能って20年前から何も変わってないでしょ(笑)
日経なんかには3時迄でなく24時間振り込みできるようにこれからはなるみたいに書かれてるけど、それって利用者側に求められてるんですかね?
別に夜でも、入金が明日の朝になるだけで振り込み手続きはできる訳で。通常振り込み先も翌日の朝にならないと入金の確認もしないでしょと。
当然、莫大な費用が掛かるわけで、利益に貢献しない迄も利用者の利便性が劇的に向上するなら社会インフラとしてやるべきだけど。どおなんだろ?意見聞かせてください。
場所がなぜかみずほ銀行の中目黒センターで、DTSとかいう会社の人と
面接させられました。
ISの人のPMOをやってくれとかわけのわからない供述をされ、
わけがわかりませんと伝えたら、エーなんとかとかいう会社からお祈りされ、
今も無職です。
そのおかげか何事もなく統合できたって中の人が自慢してたな
昔SEでCB●●にいたが旧銀行系の力関係でグチャグチャだった
対面上は仲が良い振りだが、内面は派閥争い
システム部も窓際のクソみないな者しかいなかった
そこが一番戦略上重要なのに
利益を産まない部署だから。基本的には本部のうち経営に近いところと審査部以外は左遷先ですねえ。
できる奴は現場で稼ぐって感じ
どんな企業でも利益生まない縁の下の力持ち部署なんてあるのに・・・
月一くらいでどこかしらの銀行がやらかしてる
野村や大和がネット証券に食われているように、銀行だって食われる
SBIやソニー、イオン銀行みたいな所にとって変われるのも時間の問題。
携帯で出来るものを貴重な昼休み使ってわざわざ何時間も並ぶおばあちゃんなんて
すぐ消えてなくなるぞ。銀行行ったらわかるけど札持って並んでるのなんてホント高齢者だけ。
銀行の利益に付与する顧客層は金融商品販売が見込める富裕層の高齢者と事業資金を借りてくれる法人。現役世代では唯一住宅ローンを借りてくれる方は利益になるが、不動産会社経由が大半。
それ以外は悪いがコストなんですよねえ。通帳の印紙税やシステム維持コスト、セブン銀行に払うATM手数料は馬鹿にならない。この現役世代をどおやって収益化できるかはどこの銀行も力を入れようとはしているが、カードローンくらいしか現状ないんですよ。ほら、楽天、イオン、住信SBIの儲けの大半はカードローンと住宅ローンでしょ。この現役世代の収益化ができる銀行が現れれば急成長もできるんでしょうが、まあ難しいでしょうねえ。
逆にお聞きしますが、ネット系銀行は銀行のどの収益事業のパイを奪えると思いますか?法人融資?保険窓販?住宅ローン?
ネットで自分自身でもできることと、知識がない、面倒くさい等、そもそも営業されないとやり始めないようなことはネットでは流行りません。
証券会社はネットにやられましたが、ネット生保って全く流行りませんよね?そおいうことです。
あとついでに書いておきますが、上記の急拡大するセブンATMにしても無料なのは好意で銀行が手数料を負担してあげてるからで、当然有料化はマイナス金利が始まった今、検討されていますし、いつでも始められますので。
赤い銀行とかは、良いPMが多すぎて、失敗も少ないが何も進まない。
*51
そう。
それにある程度資産が出来てくると、だいたいネットバンクではなく、紙の通帳のある伝統的な大手銀行を好むようになる。
資産が出来てくると、信頼性の問題もあるし、セキュリティの問題、病気や事故にあった時とか、相続とか考えるようになるから。ネットバンクなんて本人が意識不明になったら口座もそのまま行方不明ですよ。
51です。そもそもネット証券が流行ったのは手数料が劇的に安いからだけなんですよね。そこからするとネット銀行もネット生保もネットで利用できる以外は別に金利が異様に高い訳でもなく、保険料が安い訳でもなく・・・
どこの銀行も今どきスマホで大半のことはできますし。
ご指摘の通り相続になったとき家族は大変ですよね。残高がそれなりにあったらほっとく訳にもいきませんしね。たぶん何十年後社会問題になると思います。
オープン系で15年くらいやってるけどABENDなんて使わんな。
大体メインの取引先の企業文化が伝播するから、取引先次第で常識が変わるもんよ。
自分の会社の取引先を考えてごらん、NECとかIBMとか何かしら系統があるでしょ。
富士通の「超高速開発TOOL」なんて、少々良識のある業界人ならば誰でも胡散臭いと思うはず。
進行中プロジェクトなので、日経は表面的には批判的報道出来ないのかも知れないが、当事者でなくても、みずほ失敗時の責任は免れない。超無能な、みずほ経営者は論外だが、金融庁も日経も失敗後に御託を並べて評論家気取り。