ETLツールを使った様々な活用方法に関する事例紹介
目次
背景
電子機器製造・販売会社様の業務改善を目的として、新基盤システムの立ち上げと旧システム群の統合が決定されましたが、
システムの移行するにあたって新基盤システムの仕様に合わせた初期データの作成、残存する旧システム群からのデータ移行が必要となりました。
実現に向けた課題
新基盤システムへ移行するにあたって、コード体系が変更されたこともあり、いくつかの大きな課題がありました。
課題① コード変換、データ付与
新基盤システムに合わせた初期データを作成するにあたり統廃合された旧コードを新コードと対応付けし、
新たに必要になるデータを付加しなければならない
課題② パフォーマンス
業務を停止出来る短期間のうちに異なるデータソースから大量データを移行しなければいけない
課題③ 新基盤システム稼働後のデータ連携
システム移行完了後においても残存するシステムのために、日々双方向のデータ変換を行いながら連携をする必要がある
これらの問題を解決するためにETLツールの使用が決定されました。
NSKが行ったこと
課題①対応策 変換マスタ作成
移行データの準備に関しては変換用のテーブルを用意して対応することとなったため、
変換表の仕様検討と変換データのクレンジング作業を支援致しました。
例えば、2つの旧商品コードが統合され1つの新商品コードになった場合、新商品はどの旧商品のプロパティを引き継ぐのか、
あるいは、新基盤システムで新たに必要になったプロパティは何を指定するのか、
といった点は各業務部門へ確認を取り変換表を作成致しました。
課題②対応策 ETLツールの活用
20以上の旧システムがあり、使用しているデータベースもSQLServer/Oracle/DB2と別れていました。
また、業務部門にクレンジングをして頂いたデータは、EXCELファイルになっていたりと様々なデータソースが混在しておりましたが、
業務停止を出来る時間もあまり取れないためスピーディな移行作業が求められていました。
複数のデータソースを扱うことに長け、億を超えるような大量データを扱うことが出来るETLツールは今回の案件の最適解と言えます。
弊社では、これらすべての移行を行うために必要となる約100本にも及ぶプログラム開発支援や、
移行本番ではジョブの実行、データ後の確認作業などを担当させて頂きました。
課題③対応策 連携プログラムの作成/運用保守
新基盤システム稼働後もバッチ処理や残存する旧システムとの連携にETLツールが利用されています。
グラフィカルベースのツールのため、処理の流れが分かりやすく、ローコード開発が出来るため、短期間・低コストでの開発が
可能であり、日々のバッチ処理を行うのにも高い適正があると言えます。
現在は200本以上のバッチや連携処理が稼働しており、新たに発生した要件に対応するための新規開発、各ジョブの監視、
インシデントの調査/対応/改修など総合的な支援を行っております。