オンライン画面から処理時間が長いリクエストを実行すると、5分後にオンライン画面がInternal Server Errorの画面になります。
プロセスグループのアプリケーションの実行時間上限(AP応答監視タイマ)は10分に設定しています。

Internal Server Errorに切り替わる時間を、アプリケーションのタイムアウト時間の10分にしたいのですが、どの設定値を変更すれば宜しでしょうか？

IIOPプラグインのレスポンス待ちタイマ(worker.otxiiop.iiop_timeout)の設定を追加してください。

アドバンスドモードでHTTPリクエストを実行する場合、次のような経路で処理されます。
Webブラウザ → Webサーバ(IIOPプラグイン) → プロセスグループ(Webアプリケーション)

Webアプリケーションの処理はプロセスグループのアプリケーションの実行時間上限により10分後にタイムアウトしますが、その前に、IIOPプラグインのレスポンス待ちタイマ(5分)がタイムアウトしてInternal Server Errorが返されます。
タイムアウト時間を変更するには worker.otxiiop.iiop_timeout(既定値300秒) の設定を追加してください。IIOPプラグインのレスポンス待ちタイマをWebアプリケーションのタイムアウトより大きい値(11分など)、に設定することでWebアプリケーションのタイムアウト(10分)にエラーレスポンスが返却されます。

詳細はマニュアルを参照してください。
□V6の場合
[運用編 > WebOTX 運用編 - 分冊 (PDF形式) > コンフィグレーション > 6.4.2.IIOP プラグインの設定項目一覧]

□V7の場合
[運用編 > 4. .コンフィグレーション > コンフィグレーション(設定一覧) > 5.6.2. IIOPプラグインの設定項目一覧]

□V8.2の場合
[運用編 > コンフィグレーション > 5 Webコンテナに関する設定 > 5.5 ＩＩＯＰプラグイン定義ファイルの設定方法 > 5.5.2 IIOPプラグインの設定項目一覧]

□V8.3～V9.5の場合
[Application Server > リファレンス集 運用管理・設定編 > 1. コンフィグレーション(設定一覧) > 1.4. Webコンテナ > 1.4.5. IIOPプラグイン定義ファイルの設定方法 > 1.4.5.2. IIOPプラグインの設定項目一覧]

【対象製品】Application Server
【確認済みのバージョン】V6.5～V9.5
【確認済みのエディション】Standard Edition
Enterprise Edition
【確認済みの対象OS】すべて
【確認済みのJavaバージョン】すべて
【コンポーネント】Webコンテナ
【カテゴリー】開発/設計(性能チューニング)