<img height="1" width="1" style="display:none" src="https://www.facebook.com/tr?id=2109257909350072&amp;ev=PageView&amp;noscript= 1">

Event

CSS2026で発表しました――脆弱性情報の上流は安定していない。116日間、止めた全件を調べた

目次

フューチャーの脆弱性管理サービス FutureVuls と、OSS の脆弱性スキャナ Vuls が検知に使う脆弱性データベース(以下、DB)に、公開前の検査「diff guard」を入れました。OS のベンダーなど 40 以上のデータソース(以下、上流)から自動で作った DB を、前回公開した DB とくらべ、差分が大きすぎれば公開を止め、人が確かめます。上流のデータが欠けたり壊れたりしても、利用者の検知結果に届く前に気づけます。116 日間の運用で、Windows のひと月分の CVE(公表された脆弱性の番号。最大で約 1,270 件)を検知できなくなる DB を 2 件、私たちの変換コードのバグが入った DB を 1 件、公開の手前で止めました。

この検査と 116 日間の記録を、2026年10月20日、CSS2026(コンピュータセキュリティシンポジウム2026)の OWS(OSSセキュリティ技術ワークショップ)のセッションで、「脆弱性情報の上流は安定していない: 公開前検査による116日間の全数観測」として発表しました。この発表で、OWS研究賞をいただきました。実用性の高さと、OSS コミュニティへの貢献を評価する賞です。選んでくださった OWS 実行委員会のみなさまに感謝します。

検査は 943 回の実行のうち 420 回で止まり、同じデータソースで続いたものをまとめると 69 件でした。原因をすべて調べると、59 件は上流のデータの変化です。上流は平均して 2 日に 1 件のペースで大きく動き、その大半は正当な変更でした。

発表の情報

項目 内容
イベント CSS2026(アクトシティ浜松)、OSSセキュリティ技術ワークショップ(OWS)2026
日付 2026年10月20日(火)
セッション 2F1「脆弱性情報・優先度評価」([OWS③]、9:00〜10:40、F会場)の 2 件目(2F1-2、プログラム)
題目 「脆弱性情報の上流は安定していない: 公開前検査による116日間の全数観測」
著者 篠原俊一、中岡典弘、神戸康多(フューチャー株式会社)
受賞 OWS研究賞(2026)
資料 論文 PDF、スライド PDF、データ

出発点:ビルドの成功は、DB の正しさを保証しない

DB は、収集、変換、構築の 3 つの工程で作ります。収集したままのデータ(raw)と、共通の形式に変換したデータは、Git で全履歴を残し、過去に作った DB もすべて残しています。この基盤は、昨年の CSS2025 で発表しました。

上流の 40 以上のデータソースから、fetch で raw(取得したままの形式)、extract で extracted(共通スキーマに正規化)、db build で vuls.db(検知用 DB)を作って公開する。raw と extracted は Git リポジトリとして全履歴を保持し、過去の DB もすべて保持する

この流れは全自動で、ビルドが成功すれば DB は公開まで進みます。2026年3月、ビルドは成功したのに検知が大きく変わる出来事が 2 つありました。

  • 上流のデータの異常が、検知の欠けになった:上流から壊れたデータが届いた日に、私たちの側のデータ形式の変更が重なりました。変換はエラーになってデータは古い形式のまま残り、新しい形式を前提にした後ろの処理が、中身の無いデータを作りました。その結果、Red Hat Enterprise Linux 9 で本来検知される CVE の 51.9%(3,387 件)が、「影響なし」になりました。
  • DB と古いスキャナの組み合わせで、検知が増えた:DB に新しく入れた目印の項目を、古いバージョンのスキャナが解釈できず、Ubuntu 22.04 の検知が 5,968 件から 12,296 件(+106.0%)になりました。DB もスキャナも、単体では正常でした。

どちらの場合も、当時の CI(自動でビルドや公開をする仕組み)は、できた DB の中身を確かめていませんでした。上流のデータの異常や、DB とスキャナの食い違いを、利用者の検知結果に届く前に止める仕組みが必要でした。

作ったもの:公開前に前回の DB とくらべる「diff guard」

そこで、DB を公開する直前に、今回ビルドした DB(候補)と、直前に公開した DB(baseline)をくらべる検査を入れました。論文では「公開前検査」、実装では diff guard と呼んでいます。

候補 DB(今回ビルドしたもの)と baseline(直前に公開した DB)を 3 つの観点でくらべ、変動率が閾値を超えたら公開を保留し、人が確認して promote する流れ

くらべる観点は 3 つあります。

観点 くらべるもの ねらい
検知(新) 実機から取ったスキャン結果 75 本を、最新のスキャナと 2 つの DB で検知にかけ、出てきた CVE の集合をくらべる DB の更新で検知が増えたか、減ったか
検知(旧) 同じことを、バージョンを固定した古いスキャナで行う 古いスキャナとの非互換(3 月の Ubuntu の型)
DB 構造 2 つの DB の中の検知条件(約 330 万件)を直接くらべる スキャン結果 75 本に含まれない対象の変化

変動率は、追加と削除の件数の合計を、baseline の件数で割った値です。対象(OS とそのバージョンなど)ごとに計算し、1 つでも閾値を超えたら公開を止めます。止めた DB は捨てずに、公開用の名前(タグ)を付けない状態で残します。人がレポートを読み、正当な変更だと判断したら、その DB を公開に昇格させます。この操作を promote と呼んでいます。

この検査は、変更が正しいか誤りかを判定しません。見ているのは差分の大きさだけです。

閾値は、入れる前に測って決めた

入れる前に、となり合う日の DB 35 組で、DB 構造の変動率を測りました。ふだんの変動は中央値 0.3%、最大でも 6.2% でした。10% を超えたのは 2 組だけで、3 月の Red Hat の件(変動率が最大だった Red Hat Enterprise Linux 6 で 65.1%)と、SUSE のデータの大規模な再発行(16.1%)です。

2026年2月16日から3月29日までの、となり合う日の DB の変動率。ほとんどの日は閾値 10% の線より下にあり、10% を超えたのは 65.1% と 16.1% の 2 日だけ。3月10日から15日はデータなし

ふだんの変動(中央値 0.3%)と、人が確かめたい出来事(16% 以上)は、桁が違っていました。そこで DB 構造の閾値を 10% にしました。検知の閾値は、経験からそれより厳しい 5% にしています。

現実:翌日から止まった

「2 週に 1 回止まるくらいだろう」と見込んで、2026年4月23日に本番へ入れました。翌日に止まりました。最初の promote(4月27日)まで、20 回連続で止まっています。

観測した 116 日間(2026年4月23日〜8月16日)では、943 回の実行(ビルドから公開まで)のうち、420 回(44.5%)を検査が止めました。promote した DB は 92 個で、1 日あたり 0.79 個です。ほぼ毎朝、まずレポートを読んで promote するのが日課になりました。

止まりすぎです。ただ、止まった理由を調べるうちに、見方が変わりました。止まった記録は、うるさい検査の記録ではなく、上流で何が起きたかを示す地震計として読めます。そこで、116 日間の記録を全部集め、止まった原因を数えました。

116 日間の全件調査:69 件のうち 55 件は、上流の正当な変更

止まった 420 回のうち、差分が閾値を超えたものは 418 回です(残る 2 回は検査の基盤の障害)。止めている間は baseline が変わらないので、同じ差分が実行のたびに繰り返し止まります。同じデータソースで続いた停止をひとまとめにすると、69 件になりました。24 時間以上あいたら別の件と数える規則で、12 時間にすると 77 件、48 時間にすると 62 件です。

116 日間に検査が止まった 69 件を、データソースごとの行に並べたタイムライン。横棒は最初の停止から解消まで。7 月以降は cpe の行に長い棒が続く

69 件のそれぞれについて、DB から入力の側へさかのぼり、原因の候補を順に消していきました。

  1. DB 構築:2 つの DB を作ったコードのバージョンが同じか
  2. 収集と変換:そのデータソースのコードに、期間中の変更があるか
  3. 収集の設定:取りに行く対象(OS やバージョン)を変えていないか
  4. 上流:raw の Git 履歴から、件数や ID がレポートと合う変更を探す

全工程の履歴が残っているので、「原因不明」は 0 件でした。私たちの側が原因の 10 件は、原因になった変更まで確かめています。上流が原因の 59 件は、1〜3 に関係する変更が無いことを履歴で確かめ、代表的な件では raw の差分まで確かめました。

原因 件数 例
上流:正当な変更 55 月例パッチ、新しい OS のリリース
上流:一時的な障害 2 ひと月分の月例データが消えた(Microsoft)
上流:ずっと続く品質の変化 2 修正情報の作り直し(AlmaLinux)
自分たち:意図した変更 9 検知条件の変換、取りに行く対象の追加
自分たち:変換コードのバグ 1 出力の順番が実行のたびに変わる

上流が原因の 59 件は、116 日で割ると 2 日に 1 件です。正当な変更でも大きく動き、Oracle Linux では、1 つの advisory(セキュリティ情報)に CVE が 822 件載った日がありました。

なお、この調査の大半は AI エージェントに任せています。上の 4 段の手順を手順書にしてあり、エージェントは履歴を調べて、原因がどの工程にあり、根拠がどの差分かを報告します。promote するかどうかの判断と実行は人間だけが行い、エージェントには公開の操作をする権限を渡していません。

上流はこう動く:3 つの実例

消えて、戻って、また消える:Microsoft の月例データ

2026年6月16日、Microsoft が配信するセキュリティ更新の文書(CVRF)の 6 月分が、raw から丸ごと消えました。API は HTTP 200 を返し、収集も変換も成功しています。できた DB では、6 月分の Windows の CVE を検知できなくなっていました。13 時間後の収集でデータは戻りましたが、7月2日と 3日にも、消えては戻ることを繰り返しました。

収集した日時(UTC) 変更された行数 2026年6月分のファイル数
06-15 16:57   723
06-16 03:02 −251,429 0
06-16 16:33 +248,779 811
(中略)    
07-01 14:17   1,273
07-02 02:01 −327,295 0
07-02 13:26 +335,383 1,273
07-03 01:42 −327,838 0
07-03 13:33 +338,693 1,278

3 回の消失のどれでも、検知(新)の観点が、Windows のスキャン結果 13 本すべてで「減るだけ」の動きを捕まえました。このとき DB 構造の観点は止まりませんでした。当時この観点は、Windows については更新プログラムの集合しか見ておらず、そこに付く CVE が消えても、変動率は 0% だったためです。なお、7 月の 2 回は続けて起きたので、件数としては 6 月と 7 月の 2 件と数えています。

仕様どおりに、過去の情報が減る:AlmaLinux の errata

2026年5月27日、AlmaLinux 10 の errata(修正情報)が一斉に減りました。advisory は 279 件から一時 60 件まで減り、何度かの作り直しを経て 136 件になりました。残った advisory も中身が減っています。kernel の ALSA-2026:2721 では、対象のパッケージが 75 種から 2 種になりました。errata の全体から消えた CVE は 376 件です。

$ git show --stat e64c5ca88 -- 10/ALSA/2026/ALSA-2026:2721.json
 10/ALSA/2026/ALSA-2026:2721.json | 2412 +-----------------------------------------
 1 file changed, 6 insertions(+), 2406 deletions(-)

上流に問い合わせると、仕様どおりという回答でした(AlmaLinux Bug Tracker #644)。errata に載るのは、最新のリリースにあるパッケージだけです。前日に AlmaLinux 10.2 が出て、10.1 向けの分が消えていました。上流にとっては正しい動きです。けれども、10.1 のサーバをスキャンする側から見ると、検知に必要な情報が消えたことになります。私たちは、消えた advisory を raw の履歴から復元して取り込むようにしました。

増えたように見えて、検知が減る:VulnCheck の一斉更新

2026年7月8日、VulnCheck のデータで、1 回の更新で 145,672 ファイルが書き換わりました。全年代の CVE に、CPE(ソフトウェア製品を表す共通の名前)の条件が一斉に付いたためです。DB 構造の観点が 28.9% で止めました。当時、この DB の CPE を使った検知は開発中でした。私たちは「開発中の部分で、情報が増えただけだろう」と見て promote しました。

実際には、CPE の書き方も変わっていました。次の例では、製品の種類を表す部分が a(アプリケーション)から o(OS)に変わっています。書き方が変わると、これまでの CPE を指定したスキャン結果とは一致しなくなります。

例: CVE-2012-5010(Cisco ASA)の CPE 条件
  07-08 より前   cpe:2.3:a:cisco:adaptive_security_appliance_software:-:*:*:*:*:*:*:*
  07-08 以降     cpe:2.3:o:cisco:adaptive_security_appliance_software:*:*:*:*:*:*:*:*

後からデータソース単位で測り直すと、VulnCheck 単体の変動率は 189.6% でした。当時は CPE 系の 7 つのデータソースをまとめて測っていたので、NVD(米国の脆弱性データベース)の件数の大きさに埋もれて、28.9% に薄まっていました。更新の前後の DB を、CPE を指定したスキャン結果 3 本でくらべると、2 本で、検知される CVE が 64〜75% 減っていました(67 件から 24 件、69 件から 17 件)。

止めた 3 件と、止めきれなかった 2 件

116 日間で、検査が止めて、公開せずに済んだ DB は 3 件です。

  • Microsoft の 6 月分の消失(2 件:6 月と 7 月):Windows の 6 月分の CVE を検知できない DB を公開せず、上流のデータが戻ってからビルドし直しました。
  • 私たちの変換コードのバグ(1 件):Fedora で DB 構造が 274.5% 動いて止まりました。入力の raw は 266 ファイルしか変わっていないのに、変換後のデータは 23,163 ファイルが変わっていました。型の取り違えで並べ替えが実行されず、出力の順番が実行のたびに変わるバグです。コンパイルもテストも通っていて、出力の差分で初めて見つかりました。検知の結果は変わりませんが、実行のたびに大きな差分が出て、本当の変化を見分ける邪魔になります。

一方で、検査が止めたのに、防ぎきれなかったものが 2 件あります。

  • AlmaLinux:errata が減ったことで検査が何回も止まり続け、その停止を解消しようと promote して、減った DB を数時間公開しました。同じ日のうちに、減る前のデータに戻しています。
  • VulnCheck:前の節に書いたとおり、薄まった数字を見て promote しました。CPE を使った検知は当時開発中だったため、本番環境への影響はありませんでした。

止めたものを、人が通しました。検査が保証するのは自動で止めるところまでで、その先は、レポートの見せ方と人の判断の問題です。VulnCheck の件を受けて、2026年7月14日に、変動率をデータソースごとに測るように変えました。

会場での質問:「正しさ」はどう判断するのか

質疑では、「その変更が正しいかどうかは、どう判断するのか」という質問をいただきました。

私の答えはこうです。変更には「絶対に正しい」と「絶対にまずい」という両極端があり、その間にスペクトルがあります。その間を完全に自動で判断できるなら、すごいことです。いまは、最後を人間の判断に頼っています。

この記事の実例で言えば、月例パッチで CVE が増えるのは一方の端で、ひと月分のデータが丸ごと消えるのはもう一方の端です。難しいのは、5 月の AlmaLinux の errata のような、その間の変更です。

正しい変更と正しくない変更が、同時に入ることもあります。発表の 1 週間前の 2026年10月12日、AlmaLinux の errata で、366 件の advisory から、x86_64_v2(古い CPU 向けに AlmaLinux 10 が用意しているビルド)の記述が、一部またはすべて抜けました。パッケージそのものは配布元に残っていて、抜けたのは errata の記述だけです。同じ更新には、新しい検知条件 83 件の追加も入っていて、x86_64 のスキャン結果では検知される CVE が 2 件増えていました。止めれば正しい追加も止まり、通せば抜けも通ります。検査は DB 構造の観点で止めました。私たちは、x86_64_v2 の検知が欠けることと、止め続けて新しい CVE が届かないことをくらべ、promote しました。翌日の errata で記述は戻りましたが、それまでの間、x86_64_v2 のサーバでは一部の検知が欠けていたことになります。

VulnCheck の一斉更新も同じで、変動率という 1 つの数字では、情報の追加と検知の減少を区別できません。

FutureVuls の検知にとって、この検査が意味すること

FutureVuls は、この DB を使ってサーバやソフトウェアの脆弱性を検知しています。スキャナの検知は、元になるデータより正確にはなりません。この記事で書いた検査と運用は、次の形で FutureVuls の検知を支えています。

  • 大きな差分は、公開の前に人が確かめます。上流のデータが一時的に大きく欠けても、その DB は公開の手前で止まります。Microsoft の件では、止めていなければ、Windows の 6 月分の CVE が検知結果から消えるところでした。
  • 上流が消した過去の情報を、履歴から補っています。AlmaLinux の errata から消えた advisory は raw の履歴から復元していて、AlmaLinux 10.1 のままのサーバでも、その分を検知できます。
  • 検査の実装、閾値、止まった記録を公開しています。止めきれなかった 2 件も、同じ場所に記録しています。

限界と、論文のあとに進めたこと

この結果には条件があります。

  • Vuls の DB という 1 つの系での記録です。閾値や止まる頻度は、他の脆弱性 DB にそのまま当てはまりません。
  • 数えたのは、閾値を超えた変更だけです。閾値より小さい変更で壊れた DB を公開していても、この記録には出てきません。利用者からの報告と事後の調査の範囲では、そうした例は確認していません。
  • 観測の途中でも検査を改良しています。同じ測定器で測り続けた記録ではありません。
  • 検査は、収集の段階の壊れ方をすべては捕まえられません。観測が終わった 4 日後、Fortinet の収集処理が、アクセス確認の画面を「advisory がすべて取り下げられた」と取り違え、raw に残っていた 181 件をすべて削除しました。検査は止まらず、次の実行の失敗で初めて気づきました。この件のあと、空になったデータは収集の段階で記録しないようにしています。

止めることにもコストがあります。止めている間は前回の DB が公開されたままなので、新しい CVE の反映が遅れます。検査が続けて止まっていた期間は、中央値で 11 時間、9 割が 48 時間以内でした。

論文を出したあとに進めたことと、残っている課題です。

  • 増える方向と減る方向で、閾値を分けました。検知が減ることは見逃しにつながるので、減る方向を厳しくしています(vuls2 #449)。これで、止まる頻度が減りました。
  • 止まったデータソースだけを据え置き、残りは公開する仕組みを実装しています(2026年11月時点)。現状では、1 つのデータソースが閾値を超えると、DB 全体の公開が止まります。そこで、閾値を超えたデータソースの分だけ前回公開した時点のデータに戻して公開します。
  • 人の判断の設計は、まだできていません。減る方向の大きな変更は複数人で承認する、承認の前に確かめる項目を決めておく、といった案はありますが、これからです。

まとめ

  • 脆弱性情報の上流は、2 日に 1 件のペースで大きく動きます。その大半は正当な変更です。
  • それでも、ひと月分の CVE が丸ごと消えるような DB が、ビルドは成功したまま出来上がることがあります。
  • FutureVuls と Vuls が使う DB では、公開の前に前回の DB とくらべ、大きな差分を止めています。116 日間で、問題のある DB を 3 件止めました。止めたのに人が通したものも 2 件あります。

公開している資料

脆弱性情報を集めて配っている方や、上流としてデータを出している方からの指摘を歓迎します。数え方や判定に疑問があれば、css2026-diff-guard の issue でお知らせください。FutureVuls の検知やデータソースについてのご質問は、お問い合わせフォームからお寄せください。

CSS2026 と OWS 2026 では、フューチャーからほかにも発表しています。同じセッションの 1 件目では、中岡典弘が、検知条件の元にするデータソースを検知の精度でくらべた「脆弱性検知条件の供給源の再検討」を発表し、最優秀論文賞に選ばれました(プログラム)。

この記事をシェアする