SSM State ManagerでAmazon Linux 2023のOS更新を毎日自動で実行する
タグ:
Amazon Linux 2023のEC2に、SSM State ManagerのAssociationでOS更新を毎日当て、CVEの修正版が出たら自動で入って再起動まで終わる仕組みを紹介します。
目次
EC2で動かしているWordPressに、OSの更新をSSM State Managerで毎日当てる仕組みを作りました。CVEの修正版がAmazon Linux 2023(AL2023)のリポジトリに出れば、翌朝には自動で入って再起動まで終わります。
きっかけになったのは、LinuxカーネルのTCP(IPv4)でuse-after-freeが起きるCVE-2026-98432です。UbuntuのページではCVSS 9.8とされていて、AL2023の標準カーネル(6.1)も影響を受けます。調べた時点のAmazon Linuxのページでは、AL2023のkernelはまだ「Pending Fix」でした。修正版の公開に気づいてから手で当てる運用だと、気づくまでの間は脆弱性が残ったままになります。そこで、修正が出たら勝手に入る状態を作ることにしました。
AL2023はdnf updateしただけでは最新にならない
AL2023のリポジトリはAMIのリリースの版に固定されているため、普通にdnf updateを実行しても、AMIを作ったときの版の中でしか更新されません。新しいリリースの修正を入れるには、AL2023のドキュメントにあるとおり--releasever=latestを付けて実行します。
dnf -y --releasever=latest update
AMIを固定したまま使っているEC2に修正を当てるには、このコマンドを定期的に流す必要があります。
State Managerの関連付けで毎日dnf updateを流す
このコマンドをSSM State Managerの関連付け(Association)から毎日実行します。スクリプトでは更新の前後でパッケージの一覧を比べています。
#!/usr/bin/env bash
set -euo pipefail
installed() { rpm -qa --qf '%{NAME}-%{EPOCH}:%{VERSION}-%{RELEASE}.%{ARCH}\n' | sort | sha256sum; }
before="$(installed)"
dnf -y --releasever=latest update
after="$(installed)"
if [ "$before" != "$after" ]; then
echo "packages were updated; requesting reboot"
exit 194
fi
echo "no package updates"
rpm -qaで出した一覧のハッシュが変わっていれば、exit 194で終わります。Linuxでは、この終了コードがSSM Agentへの再起動の依頼です。SSM Agentはインスタンスを再起動したあと、同じスクリプトをもう一度実行します(Systems Managerのドキュメント)。2回目は更新するものが残っていないのでexit 0で終わり、Associationは成功として記録されます。
スクリプトの中からrebootを直接呼ぶと、実行結果を正しく記録できない場合があるそうです。再起動はこの終了コードに任せましょう。
AssociationはAWS CDKで、スクリプトのファイルを読み込んで作っています。
new ssm.CfnAssociation(this, 'DailyOsUpdate', {
name: 'AWS-RunShellScript',
targets: [
{
key: 'InstanceIds',
values: [instance.instanceId],
},
],
parameters: {
commands: fs.readFileSync(path.join(__dirname, '..', 'ops', 'os-update.sh'), 'utf8').trimEnd().split('\n'),
executionTimeout: ['3600'],
},
scheduleExpression: 'cron(0 19 * * ? *)',
applyOnlyAtCronInterval: true,
syncCompliance: 'AUTO',
});
cron(0 19 * * ? *)はUTCで書くので、日本時間では毎日04:00です。applyOnlyAtCronInterval: trueを付けないと、Associationは作成や更新のたびにすぐ実行されます。デプロイの途中でEC2が再起動しないように、スケジュールの時刻にだけ動かしています。
毎日早朝に更新して、そのまま再起動する理由
週1回でも更新はできますが、それだと修正版が出てから入るまでに最大で1週間近く空いてしまいます。毎日にしておけば、遅くとも翌朝には入ります。
再起動しない方法もあります。再起動が必要かを判定するneeds-restarting(dnf-utils)や、カーネルの修正を再起動せずに当てるKernel Live Patchingです。とはいえKernel Live Patchingはベストエフォートなので、すべてのCVEにパッチが出るわけではありません。サービスごとに再起動を書き分けるとスクリプトの分岐も増えます。このWordPressは深夜に数分止まっても困らないので、パッケージが変わったらOSごと再起動する単純な作りにしました。
更新の時刻は、バックアップより後になるように決めています。ルートボリュームはAmazon Data Lifecycle Manager(DLM)で毎日03:00にスナップショットを取って7世代残しています。OSの更新はその1時間後に動くので、更新で不具合が出ても直前のスナップショットに戻せます。
失敗したらSlackに届くようにしておく
dnfが失敗するとスクリプトは0以外で終わり、Associationも失敗になります。そのイベントをAmazon EventBridgeで拾ってAmazon SNSとAWS Chatbotを経由させ、Slackに送る構成です。ルールのイベントパターンではsourceとstatusで絞り込みます。
{
"source": ["aws.ssm"],
"detail": {
"status": ["Failed", "Cancelled", "TimedOut"]
}
}
FailedだけでなくTimedOutとCancelledも入れておくと、時間切れや中断で止まった実行も通知されます。このルールはインスタンスで絞っていないので、ほかのAssociationやRun Commandの失敗も同じSlackのチャンネルに届きます。
実際にCVEの修正が入るまで
AL2023のkernelの修正版は2026年10月30日にALAS2023-2026-3365として公開されました。修正版のkernel-6.1.189-236.400が入っているのは、リリース2023.12.20261102です。このEC2では11月2日04:00のAssociationがこのカーネルを入れて、04:03に再起動しました。
あとからEC2の中で確かめると、動いているカーネルは修正版になっていました。
$ uname -r
6.1.189-236.400.amzn2023.aarch64
$ dnf updateinfo list --installed --advisory ALAS2023-2026-3365
ALAS2023-2026-3365 Important/Sec. kernel-1:6.1.189-236.400.amzn2023.aarch64
カーネルの変更履歴にも、このCVEを直す変更が含まれていました。
$ rpm -q --changelog kernel-$(uname -r) | grep ireq_opt
+ [2026-10-01] ipv4: free inet_opt and ireq_opt after an RCU grace period (edumazet@kernel.org)
まとめ
AL2023ではdnf -y --releasever=latest updateを流さない限り、新しいリリースの修正は入りません。State ManagerのAssociationでこれを毎日実行し、パッケージが変わったときの再起動はexit 194でSSM Agentに任せます。これで、CVEの修正版はリポジトリへの公開の翌朝に入ります。
毎日再起動しうる運用を組むなら、更新の直前のスナップショットと、Slackへの失敗通知も合わせて用意しておきましょう。