001/*
002 * Copyright (c) 2009 The openGion Project.
003 *
004 * Licensed under the Apache License, Version 2.0 (the "License");
005 * you may not use this file except in compliance with the License.
006 * You may obtain a copy of the License at
007 *
008 *     http://www.apache.org/licenses/LICENSE-2.0
009 *
010 * Unless required by applicable law or agreed to in writing, software
011 * distributed under the License is distributed on an "AS IS" BASIS,
012 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND,
013 * either express or implied. See the License for the specific language
014 * governing permissions and limitations under the License.
015 */
016package org.opengion.fukurou.process;
017
018import org.opengion.fukurou.system.OgRuntimeException ;         // 6.4.2.0 (2016/01/29)
019import org.opengion.fukurou.util.Argument;
020import org.opengion.fukurou.util.SystemParameter;
021import org.opengion.fukurou.system.LogWriter;
022
023import org.opengion.fukurou.util.HybsEntry ;
024import org.opengion.fukurou.system.Closer;
025import org.opengion.fukurou.util.StringUtil;            // 5.7.2.3 (2014/01/31)
026import org.opengion.fukurou.db.ConnectionFactory;
027
028import java.util.Map ;
029import java.util.LinkedHashMap ;
030import java.util.Locale ;
031
032import java.sql.Connection;
033import java.sql.Statement;
034import java.sql.ResultSet;
035import java.sql.ResultSetMetaData;
036import java.sql.SQLException;
037
038/**
039 * Process_DBReaderは、データベースから読み取った内容を、LineModel に設定後、
040 * 下流に渡す、FirstProcess インターフェースの実装クラスです。
041 *
042 * データベースから読み取った内容より、LineModelを作成し、下流(プロセス
043 * チェインは、チェインしているため、データは上流から下流へと渡されます。)
044 * に渡します。ここで指定できるのは、検索系SQL のみです。
045 *
046 * データベース接続先等は、ParamProcess のサブクラス(Process_DBParam)に
047 * 設定された接続(Connection)を使用します。
048 *
049 * 引数文字列中にスペースを含む場合は、ダブルコーテーション("") で括って下さい。
050 * 引数文字列の 『=』の前後には、スペースは挟めません。必ず、-key=value の様に
051 * 繋げてください。
052 *
053 * SQL文には、{@DATE.YMDH}等のシステム変数が使用できます。
054 *
055 * @og.formSample
056 *  Process_DBReader -dbid=DBGE -sql="select * from GEA08"
057 *
058 *   [ -dbid=DB接続ID       ] :-dbid=DBGE (例: Process_DBParam の -configFile で指定する DBConfig.xml ファイルで規定)
059 *   [ -sql=検索SQL文       ] :-sql="select * from GEA08"
060 *   [ -sqlFile=検索SQLファイル ] :-sqlFile=select.sql
061 *                                 -sql= を指定しない場合は、ファイルで必ず指定してください。
062 *   [ -sql_XXXX=固定値     ] :-sql_SYSTEM_ID=GE
063 *                                SQL文中の{@XXXX}文字列を指定の固定値で置き換えます。
064 *                                WHERE SYSTEM_ID='{@SYSTEM_ID}' ⇒ WHERE SYSTEM_ID='GE'
065 *   [ -asClms=置換カラム名    ] :-asClms="FGJ:CDJ SEQ123:UNIQ" 元カラム名:新カラム名 のスペース区切り
066 *   [ -fetchSize=1000      ] :フェッチする行数(初期値:1000)
067 *   [ -display=[false/true]] :結果を標準出力に表示する(true)かしない(false)か(初期値:false[表示しない])
068 *   [ -debug=[false/true]  ] :デバッグ情報を標準出力に表示する(true)かしない(false)か(初期値:false[表示しない])
069 *
070 * @version  4.0
071 * @author   Kazuhiko Hasegawa
072 * @since    JDK5.0,
073 */
074public class Process_DBReader extends AbstractProcess implements FirstProcess {
075        private static final String SQL_KEY  = "sql_" ;
076
077        private Connection      connection      ;
078        private Statement       stmt            ;
079        private ResultSet       resultSet       ;
080        private LineModel       newData         ;
081        private int                     count           ;
082        private int                     fetchSize       = 1000;         // 6.9.3.0 (2018/03/26) 初期値を100→1000 に変更
083
084        private String          dbid            ;
085        private boolean         display         ;               // false:表示しない
086        private boolean         debug           ;               // 5.7.3.0 (2014/02/07) デバッグ情報
087
088        /** staticイニシャライザ後、読み取り専用にするので、ConcurrentHashMap を使用しません。 */
089        private static final Map<String,String> MUST_PROPARTY   ;               // [プロパティ]必須チェック用 Map
090        /** staticイニシャライザ後、読み取り専用にするので、ConcurrentHashMap を使用しません。 */
091        private static final Map<String,String> USABLE_PROPARTY ;               // [プロパティ]整合性チェック Map
092
093        static {
094                MUST_PROPARTY = new LinkedHashMap<>();
095
096                USABLE_PROPARTY = new LinkedHashMap<>();
097                USABLE_PROPARTY.put( "dbid",    "Process_DBParam の -configFile で指定する DBConfig.xml ファイルで規定" );
098                USABLE_PROPARTY.put( "sql",             "検索SQL文(sql or sqlFile 必須)例: \"select * from GEA08\"" );
099                USABLE_PROPARTY.put( "sqlFile", "検索SQLファイル(sql or sqlFile 必須)例: select.sql" );
100                USABLE_PROPARTY.put( "sql_",            "SQL文中の{&#064;XXXX}文字列を指定の固定値で置き換えます。" +
101                                                                        CR + "WHERE SYSTEM_ID='{&#064;SYSTEM_ID}' ⇒ WHERE SYSTEM_ID='GE'" );
102                // 5.7.2.3 (2014/01/31) asClms 追加
103                USABLE_PROPARTY.put( "asClms",  "元カラム名:新カラム名 のスペース区切りでカラム名の置換を行う" );
104                USABLE_PROPARTY.put( "fetchSize","フェッチする行数 (初期値:1000)" );
105                USABLE_PROPARTY.put( "display", "結果を標準出力に表示する(true)かしない(false)か" +
106                                                                                CR + "(初期値:false:表示しない)" );
107                USABLE_PROPARTY.put( "debug",   "デバッグ情報を標準出力に表示する(true)かしない(false)か" +
108                                                                                CR + "(初期値:false:表示しない)" );             // 5.7.3.0 (2014/02/07) デバッグ情報
109        }
110
111        /**
112         * デフォルトコンストラクター。
113         * このクラスは、動的作成されます。デフォルトコンストラクターで、
114         * super クラスに対して、必要な初期化を行っておきます。
115         *
116         */
117        public Process_DBReader() {
118                super( "org.opengion.fukurou.process.Process_DBReader",MUST_PROPARTY,USABLE_PROPARTY );
119        }
120
121        /**
122         * プロセスの初期化を行います。初めに一度だけ、呼び出されます。
123         * 初期処理(ファイルオープン、DBオープン等)に使用します。
124         *
125         * @og.rev 5.7.2.2 (2014/01/24) SQL実行エラーを少し詳細に出力します。
126         * @og.rev 5.7.2.3 (2014/01/31) asClms 追加
127         * @og.rev 6.9.4.1 (2018/04/09) fetchSize 指定を行います。
128         *
129         * @param   paramProcess データベースの接続先情報などを持っているオブジェクト
130         */
131        public void init( final ParamProcess paramProcess ) {
132                final Argument arg = getArgument();
133
134                String sql              = arg.getFileProparty("sql","sqlFile",true);
135
136                // 5.7.2.3 (2014/01/31) asClms 追加
137                final String asClms     = arg.getProparty("asClms");
138
139//              final String fSize      = arg.getProparty("fetchSize");
140                fetchSize               = arg.getProparty( "fetchSize"  , fetchSize     );              // 6.9.4.1 (2018/04/09) fetchSize 指定
141                display                 = arg.getProparty( "display"    ,display        );
142                debug                   = arg.getProparty( "debug"              ,debug          );              // 5.7.3.0 (2014/02/07) デバッグ情報
143
144                dbid                    = arg.getProparty( "dbid" );
145                connection              = paramProcess.getConnection( dbid );
146
147                // 3.8.0.1 (2005/06/17) SQL文の {@XXXX} 文字列の固定値への置き換え
148                final HybsEntry[] entry =arg.getEntrys(SQL_KEY);                //配列
149                final SystemParameter sysParam = new SystemParameter( sql );
150                sql = sysParam.replace( entry );
151
152//              // fetchSize 指定
153//              if( fSize != null ) { fetchSize = Integer.parseInt( fSize ); }
154
155                try {
156                        stmt = connection.createStatement();
157                        if( fetchSize > 0 ) { stmt.setFetchSize( fetchSize ); }
158                        resultSet = stmt.executeQuery( sql );
159
160                        // 5.7.2.3 (2014/01/31) asClms 処理を追加。
161                        newData = createLineModel( resultSet,asClms );
162
163                        if( display ) { println( newData.nameLine() ); }
164                }
165                catch( final SQLException ex) {
166                        // 5.7.2.2 (2014/01/24) SQL実行エラーを少し詳細に出力します。
167                        final String errMsg = "Query の実行に問題があります。" + CR
168                                                                + "errMsg=[" + ex.getMessage() + "]" + CR
169                                                                + "errCode=[" + ex.getErrorCode() + "] State=[" + ex.getSQLState() + "]" + CR
170                                                                + "dbid=[" + dbid + "]" + CR
171                                                                + "sql =[" + sql + "]" ;
172                        throw new OgRuntimeException( errMsg,ex );
173                }
174        }
175
176        /**
177         * プロセスの終了を行います。最後に一度だけ、呼び出されます。
178         * 終了処理(ファイルクローズ、DBクローズ等)に使用します。
179         *
180         * @og.rev 4.0.0.0 (2007/11/27) commit,rollback,remove 処理を追加
181         *
182         * @param   isOK トータルで、OKだったかどうか[true:成功/false:失敗]
183         */
184        public void end( final boolean isOK ) {
185                final boolean flag1 = Closer.resultClose( resultSet );
186                resultSet  = null;
187                final boolean flag2 = Closer.stmtClose( stmt );
188                stmt       = null;
189
190                ConnectionFactory.remove( connection,dbid );
191
192                if( !flag1 || !flag2 ) {
193                        final String errMsg = "ステートメントをクローズ出来ません。";
194                        throw new OgRuntimeException( errMsg );
195                }
196        }
197
198        /**
199         * このデータの処理において、次の処理が出来るかどうかを問い合わせます。
200         * この呼び出し1回毎に、次のデータを取得する準備を行います。
201         *
202         * @og.rev 5.7.2.2 (2014/01/24) SQL実行エラーを少し詳細に出力します。
203         *
204         * @return      処理できる:true / 処理できない:false
205         */
206        @Override       // FirstProcess
207        public boolean next() {
208                try {
209                        return resultSet.next() ;
210                }
211                catch( final SQLException ex) {
212                        final String errMsg = "ネクストすることが出来ません。"
213                                                                + "errMsg=[" + ex.getMessage() + "]" + CR
214                                                                + "errCode=[" + ex.getErrorCode() + "] State=[" + ex.getSQLState() + "]" + CR ;
215                        throw new OgRuntimeException( errMsg,ex );
216                }
217        }
218
219        /**
220         * 最初に、 行データである LineModel を作成します
221         * FirstProcess は、次々と処理をチェインしていく最初の行データを
222         * 作成して、後続の ChainProcess クラスに処理データを渡します。
223         *
224         * @og.rev 5.7.2.2 (2014/01/24) SQL実行エラーを少し詳細に出力します。
225         *
226         * @param       rowNo   処理中の行番号
227         *
228         * @return      処理変換後のLineModel
229         */
230        @Override       // FirstProcess
231        public LineModel makeLineModel( final int rowNo ) {
232                count++ ;
233                try {
234                        for( int clm=0; clm<newData.size(); clm++ ) {
235                                final Object obj = resultSet.getObject(clm+1);
236                                if( obj == null ) {
237                //                      newData.setValue( clm, "" );
238                                        newData.setValue( clm, null );
239                                }
240                                else {
241                                        newData.setValue( clm, obj );
242                                }
243                        }
244                        newData.setRowNo( rowNo );
245                        if( display ) { println( newData.dataLine() ); }
246                }
247                catch( final SQLException ex) {
248                        // 5.7.2.2 (2014/01/24) SQL実行エラーを少し詳細に出力します。
249                        final String errMsg = "データを処理できませんでした。[" + rowNo + "]件目 " + CR
250                                        + "errMsg=[" + ex.getMessage() + "]" + CR
251                                        + "errCode=[" + ex.getErrorCode() + "] State=[" + ex.getSQLState() + "]" + CR
252                                        + "dbid=[" + dbid + "]" + CR
253                                        + "data=[" + newData.dataLine() + "]" + CR ;
254                        throw new OgRuntimeException( errMsg,ex );
255                }
256                return newData;
257        }
258
259        /**
260         * 内部で使用する LineModel を作成します。
261         * このクラスは、プロセスチェインの基点となりますので、新規 LineModel を返します。
262         * Exception 以外では、必ず LineModel オブジェクトを返します。
263         * 第2引数は、カラム名の置き換え指示です。null の場合は、何もしません。
264         * 通常は、SELECT CLM1 AS CLM2 FROM *** とする箇所を、CLM1:CLM2 と指定する事で
265         * SELECT CLM1 FROM *** のまま、以降の処理を CLM2 で扱えます。
266         *
267         * @og.rev 5.7.2.2 (2014/01/24) SQL実行エラーを少し詳細に出力します。
268         * @og.rev 5.7.2.3 (2014/01/31) asClms 追加
269         *
270         * @param       rs      データベースカーソル(リザルトセット)
271         * @param       asClms  別名カラム指定 (元カラム名:新カラム名 のスペース区切り文字列)
272         *
273         * @return      データベースから取り出して変換した LineModel
274         * @throws RuntimeException カラム名を取得できなかった場合。
275         */
276        private LineModel createLineModel( final ResultSet rs , final String asClms ) {
277                final LineModel model = new LineModel();
278
279                try {
280                        final ResultSetMetaData metaData        = rs.getMetaData();
281
282                        final int size =  metaData.getColumnCount();
283                        model.init( size );
284
285                        for( int clm=0; clm<size; clm++ ) {
286                                String name = metaData.getColumnLabel(clm+1).toUpperCase(Locale.JAPAN) ;
287                                // 5.7.2.3 (2014/01/31) asClms 追加
288                                if( asClms != null ) {
289                                        // asClms の null判定も、toUpperCase 処理も行っているが、判りにくいので。
290                                        name = StringUtil.caseReplace( name,asClms,false );
291                                }
292                                model.setName( clm,name );
293                        }
294                }
295                catch( final SQLException ex) {
296                        // 5.7.2.2 (2014/01/24) SQL実行エラーを少し詳細に出力します。
297                        final String errMsg = "ResultSetMetaData から、カラム名を取得できませんでした。" + CR
298                                                                + "errMsg=[" + ex.getMessage() + "]" + CR
299                                                                + "errCode=[" + ex.getErrorCode() + "] State=[" + ex.getSQLState() + "]" + CR
300                                                                + "dbid=[" + dbid + "]" + CR ;
301                        throw new OgRuntimeException( errMsg,ex );
302                }
303                return model;
304        }
305
306        /**
307         * プロセスの処理結果のレポート表現を返します。
308         * 処理プログラム名、入力件数、出力件数などの情報です。
309         * この文字列をそのまま、標準出力に出すことで、結果レポートと出来るような
310         * 形式で出してください。
311         *
312         * @return   処理結果のレポート
313         * @og.rtnNotNull
314         */
315        public String report() {
316                // 6.0.2.5 (2014/10/31) refactoring
317                return "[" + getClass().getName() + "]" + CR
318                                + TAB + "DBID        : " + dbid + CR
319                                + TAB + "Input Count : " + count ;
320        }
321
322        /**
323         * このクラスの使用方法を返します。
324         *
325         * @return      このクラスの使用方法
326         * @og.rtnNotNull
327         */
328        public String usage() {
329                final StringBuilder buf = new StringBuilder( BUFFER_LARGE )
330                        .append( "Process_DBReaderは、データベースから読み取った内容を、LineModel に設定後、"   ).append( CR )
331                        .append( "下流に渡す、FirstProcess インターフェースの実装クラスです。"                                 ).append( CR )
332                        .append( CR )
333                        .append( "データベースから読み取った内容より、LineModelを作成し、下流(プロセス"                      ).append( CR )
334                        .append( "チェインは、チェインしているため、データは上流から下流へと渡されます。)"         ).append( CR )
335                        .append( "に渡します。ここで指定できるのは、検索系SQL のみです。"                                                ).append( CR )
336                        .append( CR )
337                        .append( "データベース接続先等は、ParamProcess のサブクラス(Process_DBParam)に"                    ).append( CR )
338                        .append( "設定された接続(Connection)を使用します。"                                                                           ).append( CR )
339                        .append( CR )
340                        .append( "引数文字列中に空白を含む場合は、ダブルコーテーション(\"\") で括って下さい。"    ).append( CR )
341                        .append( "引数文字列の 『=』の前後には、空白は挟めません。必ず、-key=value の様に"           ).append( CR )
342                        .append( "繋げてください。"                                                                                                                             ).append( CR )
343                        .append( CR )
344                        .append( "SQL文には、{@DATE.YMDH}等のシステム変数が使用できます。"                                          ).append( CR )
345                        .append( CR ).append( CR )
346                        .append( getArgument().usage() ).append( CR );
347
348                return buf.toString();
349        }
350
351        /**
352         * このクラスは、main メソッドから実行できません。
353         *
354         * @param       args    コマンド引数配列
355         */
356        public static void main( final String[] args ) {
357                LogWriter.log( new Process_DBReader().usage() );
358        }
359}