DatadogでAzureのログを収集する
Azureで取得されるログをDatadogに転送する事が出来ます。
そこで今回はDatadogでAzureのログを収集する為に、 Event Hubを作成、Functionsを作成、アイテムでの診断設定までやってみました。
AzureとDatadogの接続についてはこちら。
https://www.tama-negi.com/2020/09/03/azure-datadog/Datadog Agentを利用したAzure VMのログ転送はこちら。
診断設定(Log転送先)で指定するAzure Event Hubを作成する
Azure Event Hubを作成します。
１)AzureのメニューでEvent Hubsを選択します。下記画面が表示されるので、追加をクリックします。
２)名前空間を作成します。リソースグループ名、Event Hub名、ロケーションを指定します。ロケーションはログの収集を行うリソースと同じロケーションを選択します。
価格レベルはBasicを選択します。
設定したら確認および作成を選択します。（なお、タグや可用性セットの設定を行う場合は、それぞれの画面で設定を行います。)
確認画面が表示されますので確認および作成をクリックするとAzure Event Hubがデプロイされます。
エンティティでEvent Hubを作成します。
１）作成したEvent Hubs名前空間を選択します。Event Hubsを選択すると下記画面が表示されますのでイベントハブを選択します。
２)イベントハブの作成画面が表示されますので名前を設定します。
これでAzure Event Hubの設定作業は完了です。
Azure Functions(関数アプリ)を作成する
Datadogへのログ転送はAzure Functions(関数アプリ)で行います。
Azure Functions(関数アプリ)のトリガーをEvent Hubとして作成します。Datadogへ転送するFunction(関数)を利用し、Event Hubを経由してDatadogへログ転送されます。
まずAzure Functions(関数アプリ)の作成を行います。
なお作成時にストレージアカウントが必要になりますので、必要に応じて事前に準備します。
１)Azure Function(関数アプリ)のメニューを選択します。下記画面が表示されますので追加をクリックします。
２)Azure Function(関数アプリ)の作成画面が表示されますので、リソースグループ名、関数アプリ名、ロケーション名を設定します。ランタイムスタック等は下記の値で設定を行います。
-
-
- 公開：コード
- ランタイムスタック；Node.js
- バージョン：12LTS
-
３)ホスティングの設定を行います。ストレージアカウント名を選択します。事前に準備していない場合は新規作成を選択して作成します。
-
-
- オペレーティングシステム：Windows
- プランの種類：消費量(サーバレス)
-
プランの種類は環境や利用状況に合わせて適時変更下さい。
４)必要に応じてApplication Insightの設定を行います。Datadogへのログ転送にあたってはどちらを選択しても問題ありません。(今回は”はい”を選択していますがどちで問題ありません。)
５)タグの画面が表示されますので必要に応じて設定を行います。
タグが必要なければそのまま確認および作成をクリックし次に進みます。
確認および作成画面が表示されますので、作成をクリックします。これでAzure Function(関数アプリ)の作成は完了です。
Datadogへログ転送を行うFunction(関数)を作成する
Datadogへのログ転送を行うFunction(関数)を作成します。
１)先ほど作成したAzure Functions(関数アプリ)を選択します。Function(関数)を選択すると下記画面が表示されますので追加をクリックします。
２)関数の追加画面が表示されます。Azure Event Hub Triggerを選択します。
開発環境を選択項目として表示された場合は、ポータルでの開発を選択します。
３)詳細画面が表示されますので、以下の通り設定します。
-
-
-
- 新しい関数：関数名(任意)
- Event Hub Name：作成したEvent Hub名(ここで指定するEvent Hub名はEvent Hub名前空間の値ではなくEvent Hub名の方になります。)
-
-
設定したらEvent Hub ConnectionでNewを選択します。
次の画面が表示されますので、事前に作成したEvent Hub名を指定します。設定したらOKを選択します。
これでFunction(関数)の箱が出来ました。次に環境変数の設定を行います。(Datadogサイトと順番が違います。今回は先に環境変数を設定します。)
４)Azure Functions(関数アプリ)のメニューで構成を選択すると下記画面が表示されます。新しいアプリケーション設定を選択します。
５)アプリケーション設定の追加/編集が表示されますので環境変数を追加します。
-
-
- 名前；DD_API_KEY
- 値：DatadogのAPI KEY(DatadogのIntegrations/APIs/APIKeysで確認される値)
-
環境変数の追加が終わったら必ずアプリケーション設定の画面で保存します。保存が完了したら環境変数の設定は終わりになります。
６)関数アプリ(Azure Functions)の画面で関数のメニューを選択する作成したFunction(関数)が表示されますので選択します。
７)コードとテストのメニューを選択すると下記画面が表示されます。Datadogへ転送するIndex.jsを作成します。
Github上に公開されているのIndex.jsをコピーし下記画面のようにペーストして保存します。
８)トリガーの設定値を確認します。Function(関数)の画面で統合を選択すると下記画面されるのでトリガーを選択します。
トリガーの編集画面が表示されるので、以下の値を確認します。
-
-
- Event parameter name：eventHubMessages
- Event Hub cardinality：Many
- Data Type：空白
-
これでFunction(関数)の設定は完了です。実際に送信されるのかテストしてみます。
９)Function(関数)の画面でコードとテストのメニューを選択し、テストと実行をクリックします。
下記画面が表示されるので、キーにmaster(Host Key)を選択し、実行をクリックします。なお””を外しているとエラーになります。
完了した際に下記メッセージが表示されていれば送信は完了です。(ログ上にエラーが出ている場合は別途確認が必要です。)
Datadog側でもLog受信の確認を行います。
LogsのメニューでSearchを選択すとLog Explorerが表示されます。下記のようにTest Messageと表示されていれば受信出来ています。
診断設定でEvent Hub(イベントハブ)への転送設定をする
実際にAzureのLogをDatadogに転送するのには、診断設定でEvent Hubへのログ転送設定が必要になります。
下記のように、イベントハブへのストリームを選択し、作成したEvent Hubを指定します。
これでAzureのLogをDatadogに転送する設定が完了です。