WebOTXのインストールを行ったところ、エラーが発生しドメインを作成することができませんでした。
ant_setup.logを確認したところ、"Cannot allocate memory"というメッセージを出力されているようです。

"Cannot allocate memory"は、必要とするメモリが割り当てられない場合、出力されるメッセージです。
この原因として、以下の事象が考えられます。

(1)に該当する場合、不要なサービスを停止した後、再度インストールを行ってください。
(2)に該当する場合、Javaのバージョンによって大量のメモリが割り当てられることが考えられます。
これを回避するために、Javaプロセスの最大ヒープサイズを変更することで対処することが可能です。

例)
UNIX
# export _JAVA_OPTIONS=-Xmx128m

この環境変数は、最大ヒープサイズが設定されていない、全てのJavaプロセスに対し設定を行います。
このため、WebOTXインストール時のみ、上記環境変数を設定し、インストール完了後は必ず削除してください。

【対象製品】Application Server
【確認済みのバージョン】V6.2 V6.3 V6.4 V6.5 V7.1 V8
【確認済みのエディション】 Express Foundation Standard Edition Enterprise Edition
【確認済みの対象OS】Windows、Linux
【確認済みのJavaバージョン】すべて
【コンポーネント】運用管理
【カテゴリー】運用/設定