カテゴリー: UsefulSoft

OS: Ubuntu 20.04, 3DSlicer Version: 4.11.20210226

3D Slicerを用いた輪郭のpropagationのやり方です.

すでにDIRがなされている状態を想定しています. 説明の画像ではPlastimatch によるB-SplineによるDIRを実施し, その結果をB-SplineパラメータとDVFををMRMLで保存した状態からスタートしています. それぞれvtkMRMLBSplineTransformNodeとvtkMRMLGridTransformNodeです. 2つともある必要はなく, どちらかあればpropagationは可能です.

下準備: 変形したい輪郭のコピーを作成

Propagationする際, Transformsモジュールを使用します. そこで輪郭を変形すると上書きになるので予めもとの輪郭をコピーして変形用の輪郭を作っておきます.

まず, Data モジュール(下図の上の赤丸)に切り替えてコピーしたい輪郭を探します. 下図の画像ではct2roiが変形したい輪郭になります.

変形したい輪郭を選び右クリックするとメニューが出ますので, 「Clone」(下図の下の赤丸)を選択してください. それでコピーが出来ます.

確認すると下図で「ct2roi Copy」(下図赤丸)というvtkMRMLSegmentationNodeが出来ています.

下準備は完了ですが, もし上書きしても構わないというのであれば, この下準備は飛ばしても構いません.

Transformを用いた変形

実際に変形していきます. 輪郭を変形するためにはTransformsモジュールを使用しますのでモジュールをTransformsモジュールに変更してください.

次に, DIRした際に得られたDVFなどを保存したデータ(vtkMRMLTransformNodeの一つ)を「Active Transform」の欄で選択します. DIRした際にMRMLとして変形を保存していればプルダウンメニューに出てくると思います. Affine変換など線形な変換であれば下図の「Edit」のところを展開すれば手入力で作成できます. B-Splineも作れるようですが, ???な感じです.

ここでは, Active TransformにPlastimatchでデフォルトの名前のまま出力したDVF「Output vector field (MRML)」を指定しています.

Informationは変形のサマリー, DisplayはDVFを矢印やグリッドで表示したりできますが, これも関係ないので飛ばします.

輪郭の変形にはTramsformモジュールの「Apply transform」の設定で行います. Transformableのリストは, 現在Sceneにある変形可能なNodeの(データの)一覧です. この中から変形したい輪郭を指定します.

変形対象の指定は「Transformable」のリストで選択し, 右向き矢印で「Transformed」のリストに移します. 今回の場合変形対象がCloneで作成した「ct2roi Copy」ですので, 選択し右のTransformedのリストに移します.

移した時点で輪郭は変形されます. 画像を表示している画面で右矢印と左矢印で対象を行き来せれば変形しているのが解ると思います.

この時点で変形されているのですが, まだ変形後の輪郭は保存されていません. そのおかげで何度もやり直したりできるのですが, 変形後に解析・評価などする場合では見れるだけだと困ります. そこで変形後のデータを保存する方法ですが, 「Harden transform」で変形をFixしてしまいます. つまり, 今変形している輪郭を上書き保存することになります(そのためコピーを作成しました).

Harden transformの方法は, 保存したい対象をTransformedリストでクリックして選択(水色の背景になる)し, TransformableのリストとTransformedの間にある矢印の下, マス目がずれたアイコン(下図 下の赤丸) をクリックするだけです. アイコンをクリックするとTransformedにあるデータを現在の変形された状態に保存します. うまく保存されると選択された変形対象だけがTransformedリストから消え, Transformableのリストに戻ります.

以上が輪郭のpropagationの方法になります. 今回輪郭を対象にしましたが, 変形できるデータであれば(Transformableリストに上がるデータであれば)同様な操作で変形が出来ます.

注意は, hardenしても3DSlicer上で保存されている(データとなっている)だけで, ファイルには保存されていませんので, 途中経過や結果などを保存したい場合は, 3DSlicerでScene全体や変形した輪郭だけでもファイルで保存する必要がありますので忘れずに.

3DSlicerでCTと輪郭の組み合わせは, おそらく他の商用DIRソフトと比べゆるいです. DICOM画像を読み込む際には組み合わせが違うと言われたりする場合もありますが, Sceneに保存されている輪郭はすべてどの画像上にでも表示できます(というか表示されてしまう). それだけCT-輪郭の関係の自由度が高く, やりたいことができる(手間はかかるけど)ことになります.

OS: Ubuntu 20.04, 3DSlicer Version: 4.11.20210226

3D Slicerを用いると, (たぶん読み込める画像なら)どのような画像でもDICOM形式に変換できます.

ここでは, DICOM化の方法を記載しておきます.

Fileの読み込み

基本的に何でもいいのですが, JPEGなどであると1スライスの画像とみなされます. 試していませんが, ファイルを開く際にフォルダを指定できるので, フォルダを指定すると3Dデータになるかもしれません.

今回は本当に一般的な画像がDICOM化できることを示すためにJPEGでやってみました.

3DSlicerのメニューの「File」から「Add Data」を選ぶか, メニューの下の一番左のDataアイコンをクリックすると下のウィンドウが出てきます. 今回, JPEGファイル1つなので「Choose File(s) to Add」を選んでファイルを選択しました. 「Choose File(s) to Add」をクリックするとさらにファイル選択のウィンドウが出てきます.

ファイルを選択し, 開くと下の図のような画面です. ファイルは研究室のロゴマークのファイルにしました. 1枚の2D画像ですので, Sag, Corの画像は線です.

DICOM化

もう早速DIROM化です. まず下図のように, Modules横のプルダウンを「Data」にしてください. そうすると左パネルに「Subject hierarchy」タブになっていると思います(なっていなければ選択してください).

DICOMーRTなどを開くと輪郭などがツリー状に表示されますが, これまでの手順でファイルを開くと開いたファイルのファイル名が1つだけ表示されていると思います. (しっかりCT画像などと同じvtkMRMLVolumeNodeの1種になっているのがわかります)

次に, ファイル名を選択し右クリックします. 出てきたメニューに「Export to DICOM…」という項目があるので選択します.

そうすると下の警告が出ます.

警告に書いているとおりですが, DICOM(化)には親となる患者情報が必要でOKを選ぶとデフォルトでつくられる. もし自分で作りたければ一度Cancelしてsubject hierarchyのところで, 「Export to DICOM…」を選んだメニューから「Create new subject」を選んで作成してくださいとのことです. Subjectを作った後にsubject hierarchy上でファイル名をドラッグ&ドロップすれば,作成したSubjectの配下に移動できます.

DICOMの情報は次のところで編集ができるのでそのままOKで問題ないと思います.

そのままOKすると下図右のようなウィンドウが出ます. ここでDICOMのヘッダに含めるMeta情報を入力していきます. とりあえずDICOM化したいだけであれば, なにも変更しなくてもDICOM化できます.

ついでに, 下図左のsubject hierarchyのパネルには, 自動にNewPatientとNewStudyが出来てその下にロゴファイルの名前が移動していると思います.

DICOM化したデータをそのまま3DSlicerのDICOMモジュールが管理するようにしたければ(3DSlicerのDICOM画像管理画面で出てくるようにしたければ), 「Export」をクリックしてください. DICOM画像のリストに適当につけられた患者名となってあるのが確認できます.

ファイルとして出力したい場合は, 下図右のウィンドウ下部の「Export to folder」にチェックを入れて, その右に出力先のフォルダを指定してください.

3DSlicerのDICOM管理に出力した場合, 以降は通常のDICOM画像と同様なので, もしファイルとしてExportしたければDICOMの管理画面で可能となります.

確認

最後にちゃんと出来たか確認ですが, ImageJを使って確認してみました. Exportしたファイルは1枚の画像ですので指定したフォルダには「IMG001.dcm」というファイルが出来ていました. そのファイルをImageJにドラッグ&ドロップすると白黒化されたロゴが表示されました. DICOMですのでグレーレベルの画像になったようです. ちゃんとDICOMかどうか確認するため, Image infoを表示させると, ちゃんとタグとともにタグ情報も表示されました.

さらにちゃんとしているのがUIDがついていること. 正解で一つしかない一意な番号がつけられるUIDをどのように決めているのか少し謎です. とはいえ, ちゃんとDICOM化が出来ました.

この内容は, 3D SlicerのDeveloper Guideの MRML Overview (https://slicer.readthedocs.io/en/latest/developer_guide/mrml_overview.html)の内容を主観を交えて解説しています. Developer向けガイドですので, 内部構造的な表現だったり, すこし3D Slicerでの表示と異なる用語になっていたりしますが, ご了承ください.

3D Slicerで画像などを開くと単に画像データを読み込んだというだけでなく, その他諸々のデータを一括して管理するSceneに読み込んだとして扱われます. 読み込んだデータもしくは処理により出来たデータは, Sceneの中にいくつかの種類に別れたNodeに適宜分別され管理されます.治療のデータ(DICOM-RTなど)は治療計画時の輪郭データであったり, 線量評価点など各種Nodeに分かれて読み込まれます. そのため, 何か(プログラミングなど)しようとした際にそれらNodeの理解が必要になります.

Sceneのデータ構造はMedical Reality Modeling Language (MRML) と言われ, Visualization Toolkitや Insight Toolkitなどで開発されたライブラリだそうです. そのため, Sceneの各NodeにつけられるIDなどには接頭語としてvtkMRML などが付きます(SlicerのDataモジュールで確認可能).

MRMLに含まれるNodeには大きく7種類のNodeがあります. 順に説明します.

• DataNodes
• DisplayNodes
• StorageNodes
• ViewNodes
• PlotNodes
• SubjectHierarchyNode
• SequenceNode

DataNodes

DataNodesはもっとっも目にするNodeとなると思います. 様々な画像データを含むデータを保存,管理します. DataNodesの代表的な派生Nodeとして下のものがあります.

• Volume (vtkMRMLVolumeおよび派生クラス)
  • 一般的な画像データ, つまり, Volumeデータなどマトリックス状にスカラー値をもつボクセルによって作られるデータを保存, 管理します. CTやMRI, 一般撮影画像などの2D画像はこのクラスで管理されます. segmentationされた領域のデータも, ボリュームタイプの3Dデータ(対象領域の画素にのみ0以外の値になり, その他は0となるボリュームデータ)であればこのタイプになります. そのほか, スカラー値を持つボクセルと言いましたが, ボクセルに複数の数値データをもつ多次元データやTensorなども含まれたりします. それらには, RGBデータをもつデータ, Deformation Vector Fieldなども含まれます. よく似た4次元データとして時系列データがありますが, 時系列のデータは別途SequenceNodeがあるのでそちらで扱われます.
• Model (vtkMRMLModelNode)
  • 体表面を形どったサーフフェイスメッシュや, 内部もメッシュとして分割されたボリュームメッシュを保存・管理します. 治療の輪郭は次のSegmentationとして扱われます.

• Segmentation (vtkMRMLSegmentationNode)
  • 名前の通りSegmentationされたデータを扱います. 治療の輪郭やラベリングされた領域などがこのNodeになります. データ形式は複数の形式で保管することができ, メッシュやBinaryLabelmapとしても保管されたりします. プログラムコード的にはクラス内部にVolumeやModelのクラス変数を持っているのではと思います.
• Markups (vtkMRMLMarkupsNodeとその派生クラス)
  • 幾何学的な位置や直線, 曲線などを管理します. Fiducial markerや計測のための位置や領域を表す座標値, アノテーションを付す位置の情報などとなります.
• Transform(vtkMRMLTransformNode)
  • 画像を変形させるための情報を保管します. 線形, 非線形問わず管理されます. 一応, Linear, B-spline, grid用の3種類の派生クラスがあります.
• Text(vtkMRMLTextNode)
  • 設定ファイルや説明テキストなどのテキスト情報
• Table(vtkMRMLTableNode)
  • 表敬式のデータを管理. 計算結果や計測結果などを表示するためのデータ.

DisplayNodes (vtkMRMLDisplayNode)

DIsplayNodeは表示用設定を保存します. 表示のためのデータ自体はないので, DataNodeと連携してデータを表示します.

表示設定ですので, 一つのデータを様々な設定で表示することもありえます. その際は複数のDisplayNodeをもつことになります.

逆にDataNodeは表示設定がないため, とりあえず表示もDisplayNodeに頼ります. そのため, DataNodeが1つ作られると, 必ずデフォルトでDisplayNodeが作られます.

このNodeは1種類ですので, vtkMRMLDisplayNodeとすでにNode IDがついています.

StorageNodes(vtkMRMLStorageNode)

ファイルの保存のしかたを管理するクラス. 保存する情報としては, ファイル名やファイル形式, 座標系など.

ViewNode(vtkMRMLAbstractViewNode)

画像表示のための周辺の設定を管理する. Abstractとついているようにプログラミングでは派生クラスを使うのが通常になる. 派生クラスにはしたの種類がある

• vtkMRMLCameraNode
  • 3D viewのカメラ位置・向きなどの設定を管理する
• vtkMRMLClipModelNode
  • ModelNodeをクリップするスライスの設定を管理する
• vtkMRMLCrosshairNode
  • カーソル位置を示すクロスヘアラインの設定を管理する
• vtkMRMLLayoutNode
  • 画面レイアウト(分割方法やどのパネルに何を表示するかなど)を管理する
• vtkMRMLInteractionNode
  • マウス操作などの設定を管理する
• vtkMRMLSelectionNode
  • Scene全体の情報を管理する. 全体で使用される単位や現在のSceneの状態など.

PlotNodes

TableNodeのデータをどのようにグラフで表示するかを設定する. 以下の3種類がある.

• PlotSeriesNode
• PlotViewNode
• PlotChartNode

SubjectHierarchyNode(vtkMRMLSubjectHierarchyNode)

DataNodeの各ノードを階層形式で管理する. おそらくData moduleを表示した際に表示されるデータのツリー構造を示すためのnode. Sceneに一つのみ作られる.

SequenceNode

DataNodeのタイムシーケンスのリストや多次元データをリストとして管理する.

SequenceBrowserNodeがどのDataNodeを今表示するか(しているか)を管理する.

OS: Ubuntu 20.04

3DSlicer Version: 4.11.20210226

Extension SlicerElastix, SlicerRT1.0.0

Plastimatch v.s. Elastixとしましたが, あくまで1例試して比較した際の個人の意見です.

それぞれの処理の最適化もなにもしていません. 基本デフォルトの設定での処理です.

まず, 処理時間

Ubuntu 20.04, CPU Ryzen7-3700, メモリ 16MB, GPU GeforceRTX 3080 での処理です.

対象画像はDIR-DBにある頭頸部の#12の症例. CT1(実施時にRenameしています)が180枚, CT2が176枚のCT画像です.

PlastimatchはRigitを含めStage3まですべてEnableにして実施. 各ステージの設定はデフォルトのまま. Cost functionはMSE, HardwareはGPUを選択したのですが, リソースモニターではCPUしか動いていませんでした. CUDAは入れてありますが, GPU使うための設定はなにもしていないので, なんらか設定が必要なのかもしれません.

ElastixはPresetをgeneric(all)を選んだだけです.

処理時間

Plastimatch 約45秒

Elastix 約5分

処理時間は, どのような処理をしているかにも大きく依存するので, それらを統一していない処理で比べてもなんとも言えませんが, すこしPlastimatchのほうがいいのかなという個人的な感想です.

結果画像

画像上段左がFixed Image (CT1), 下段左がPlastimatch, 右がElastixです. 少しわかりにくかったのでCT1とCT2の輪郭を一緒に載せています. CT1のピンクの体輪郭(CT2のものもあるのでCT1の画像を参照してください)にどれだけあっているかを見てもらえばいいですが, Plastimatchは左肩あたりが少しElastixより違いが大きいし, すこしボケたような画像になっています.とはいえ僅かな差かと思います.

ついで, もう少し上のスライスで歯冠のアーティファクトがあるスライス前後になると, Elastixは極端に間違った変形となっています. Plastimatchはうまくアーティファクトを対象外にしているのか変な変形はありません. ただし, 顎の形などを見ると変形前の輪郭に近いので, アーティファクトのある部分は変形しないという処理なのかもしれません.

所見

今回の処理では若干Plastimatchのほうが良い結果でした. ただし, 処理自体を何も調整していない状態での比較なので, 結果画像の比較に大きな意味はあまりないようにも思います. おそらくElastixにも対象とする画素値の範囲を設定したりできるのではと思いますので, 今回アーティファクトが原因で変な変形になったとしても処理を最適化していけば良い結果を得れるのではと思います.

処理時間のところで書いたPlastimatchが少し良さそうとしたのは, おもに処理時間の結果とその将来性によります. 今回どちらもCPUのみでの処理で5倍以上の差が出ており, さらにPlastimatchのほうがGPUを使う設定があります. ちゃんとGPUの設定すればもっと早く処理できるのではと思います. 結果画像も大差ないうえでは, 処理時間とその将来性からすこしPlastimatchのほうがいいのではないかと思います.

本来, PlastimatchもDemons法でのDIRができたりするのですが, 3DSlicerのExtensionになった時点で, その処理が選べなくなります. Elastixも同様で, Extensionになることで, 本来できる機能, 処理の1部しか使用できなくなります. そういった意味では, どちらもコマンドラインで処理すればいいのですが, それだとここで3DSlicerのextensionとして説明してきた意味が… Slicerの中で実施できることですぐに結果画像を確認できるメリットや, 他のモジュールを使って評価や検証ができたりします. その意味ではExtensionであることの意味は大きいと思います.

ElastixのExtensionは初心者か上級者向けと書きました. それは, そのままでもある程度使えるようにしてくれていることと, さらに, 処理の変更や調整が設定を書いているファイルを編集することで可能になるので,上級者はさらに深く使えるところにあります.

Plastimatchは中級者クラスの人が, B-Splineで少しステージ数や解像度の調整など微調整ができるので, そのくらいでいいのであれば使いやすいExtensionだと思います. ただ, それ以上の変更をしたい場合は, たぶんこのExtensionではできないので, Elastixやコマンドラインでの実行にせざる得なくなると思います.

どっち使うかは自分のやりたいことにあった方を選ぶことになると思います.

OS: Ubuntu 20.04

3DSlicer Version: 4.11.20210226

Extension SlicerElastix

Elastixも3D Slicerで使えるDIRソフトです. Install編で説明したようにExtensionを入れれば使えるようになります.

3D slicerでの設定は, ごく簡単な設定になり, 細かな設定は設定ファイルに書かれておりそれを選んで実行することになります.

ElastixでDIRをしようとした場合, Moduleは「Registration」->「General Registration(Elastix)」を選びます.

下の図が設定項目になります. Plastimatchと比べここで設定できる項目は本当にシンプルです. ElastixのExtensionはplastimatchと比べ一見簡単そうですが, 処理の調整などをしようとするとファイルの記載を変更しなければならないため, とりあえずDIRさせたい, もしくはある程度DIRやプログラミングの知識がある人がガッツリ調整してDIRしたい, どちらか両極端な方向けかと思います. 順に説明していきます.

• Reload&Test

この見出しの項目は, このElastix moduleのインターフェイスを変更する場合に使います. 例えばElastixにある機能/設定でこれ以降の見出しの設定項目にない設定を追加したい場合などを想定した機能かと思います. Editボタンをクリックして編集していきますが, インターフェイスを作るPythonコードが立ち上がります. Pythonを理解しかつ3DSlicerのmoduleのコード記載方法を理解していないと変更できないと思います.

そのため, わからない人は触らないほうが無難な設定項目です.

• Parameter set

この設定は, いまいちなんのためなのか理解できていません. おそらくですが, 新規作成が Create new scripted module となっているので,モジュールの調整ではと推測します. となると, 上記のReload&TestでEditしたインターフェイスを保存するような役割かと思います. あまりいじる必要はないように思います.

• Inputs

DIRする画像を選択します. Fixed volume,Moving volumeは基準となるボリュームと変形されるボリュームとそれぞれ指定してください.

PresetがDIRの設定となります. 設定となります書きましたが, 設定を細かく変更はできません. すでに作られている設定を選ぶだけになります. プルダウンで選択項目を見ると, CT-CTだけでなくMRI,PETなどマルチモダリティでDIRする設定も多くあります. 自分がしたい処理にあったものを選んでください.

ここで, これらPresetの設定が何をしているかですが, プルダウンで表示される選択項目はSlicerがインストールされているフォルダの下

[Slicerのフォルダ]/lib/Slicer-4.11/qt-scripted-modules/Resources/RegistrationParameters

というフォルダに, ElastixParameterSetDatabase.xmlというファイルがあります. ここで規定されています. ElastixParameterSetDatabase.xmlの冒頭部分は下のようになっています.

<ParameterSet … > </ParameterSet>までが一つのPresetになっており, modality= に記載されている名前がPresetとしてプルダウンメニューに出てきていると思います. <PrameterFiles>以下にあるのがこのPresetで使用する処理の設定ファイルの名前です. Presetの「general(all)」で実行されるのは Parameters_Rigit.txt と Parameters_BSpline.txt ですので, ファイル名的に, rigitをしてB-SplineのDIRを実施する処理のようです.

<?xml version="1.0" encoding="UTF-8"?>
<ElastixParameterSetDatabase>
  <ParameterSet id="default0"
    modality="generic"
    content="all"
    description="'default' parameter files for starting elastix users"
    publications="">
    <ParameterFiles>
      <File Name="Parameters_Rigid.txt" />
      <File Name="Parameters_BSpline.txt" />
    </ParameterFiles>
  </ParameterSet>
  <ParameterSet id="default0"
    modality="generic rigid"
    content="all"
    description="'default' parameter files for starting elastix users"
    publications="">
    <ParameterFiles>
      <File Name="Parameters_Rigid.txt" />
    </ParameterFiles>
  </ParameterSet>

またParameters_Rigit.txt と Parameters_BSpline.txt はElastixParameterSetDatabase.xmlがあるフォルダにあり, そこには他に様々な名前の.txtファイル(設定ファイル)があります. それぞれの具体的な処理の設定が.txtファイルで規定されています.

• Masking

DIRをする範囲を指定できます. maskに使用するのはLabelmapになり, DICOM-RTを読み込んで輪郭をMaskにしたい場合は, 輪郭をLabelmapに変換しておく必要があります. Labelmapがあれば, どれをMaskに使用するか選択できます.

• Outputs

出力先を指定します. 基本的に出力しないことはないと思いますので, Create new volume かCreate new volume as…を選ぶことになると思います. いずれも3D slicer内部で保存されている状態になるので, ファイルへは別途保存する必要があります.

output volumeは変形後の画像, output transformはDVFを出力することになります.

• Advanced

ここはelastix上級者向けに役立つ機能です. 基本的にDIRをの処理を調整したい場合(新たにPresetを作るとか, 設定txtを作るとかの場合)かと思います.

Show detailed log during registrationは詳しいlogを表示してくれますし, Keep temporary filesで途中経過のファイルを残してくれます. Registration presetsは右のボタンで, 上のPresetのところで説明した設定ファイルがあるフォルダを開いてくれます.

Force grid output transformは未確認ですが, Transformモジュールで出力されたtransformのデータを見ると, チェックが入っていないほうがTransformモジュールのinformationのところにより詳しい情報が表示されます. B-Splineの情報などが出ますので, チェックがないとDVFになっていないパラメータの状態でデータを保管しているのかと思います. 3DSlicerのデータ形式でvtkMRMLBSplineTransformNodeとvtkMRMLGridTransformNodeと別になっていますので, チェックを入れることで, BSplineTransformNodeをGridTransformNodeに変換してくれて出力するのかと思います.

Custom Elastix toolbox locationもよくわかっていません. 右の入力項目にはファイルを指定するようです.

• Applyボタン

Applyボタンでこれまでの設定でDIRを実行します.

OS: Ubuntu 20.04

3DSlicer Version: 4.11.20210226

SlicerRT(Plastimatch含む) version: 1.0.0

PlastimatchのDIRのパラメータの説明はすでにコマンドライン版として過去に書いていたのでそちらも参考にしてもらえればと思います. 3DSlicerでできるDIRはPlastimachで設定できる項目の一部のようです. 3DSlicerでのPlastimatchの結果に満足行かない場合は, コマンドラインのPlastimatchを使用するか, 他のDIRソフトを使用する必要があると思います.

今回は主にインターフェイスの説明になります.

まずはDIRをしたい2つの画像が開かれている状態を前提とします.

その後 モジュールをPlastimatchのB-Spline deformable registrationに変更します. 下の画面ではすでに選択されていますが, Module右のプルダウンで, 「Plastimatch」 ->「Registration」->「B-Spline deformable registration」を選択してください. そうすると, 下のような設定項目のインターフェイスになります.

見出し頭の ▶ をクリックすることで内容が表示されます.

DIR関係で一番上となる「Parameter set」は「B-Spline deformable registration」が入っていると思いますが, この選択はこれ以降の設定をひとまとめとして保存しておく機能のようです.

Parameter setをプルダウンで開くと「Create a new parameter set」とparameter setを作成できるので良い設定ができれば保存しておけばいいと思います.

左図は少し入力していますが, はじめは何も入力されていない状態だと思います.

各パラメータの説明 (最低限必要な設定は赤字)

• Fixed volume, Moving volume

Fixed volume, Moving volumeは説明不要かと思います. それぞれ, 3DSlicerで開いている画像をプルダウンで指定できます.

• Input B-spline transform(MRML)

B-spline で得られた変形を記録したMRMLを指定. 一度行ったDIRから再度DIRしたいときに使う(かな?). MRMLは3DSlicerのデータ保持の内部形式なので, 後にあるOutput B-spline transform (MRML)で出力を指定した場合(それを保存していた場合)に指定可能になると思います.

MRMLは3DSlicerのDataモジュールで左図のインターフェイスの代わりに表示される開いているデータ一覧で確認できます.

• Input vector field (MRML)

上の B-spline transformと同様 ここでは3DSlicerに保存されてたDeformation vector fieldを指定. B-spline transformと両方指定する必要があるのかは未確認

• Input transform (file)

上記MRMLで3DSlicerに記録されているもの以外で, transformを保存したファイルを指定. 3DSlicerのTransformモジュールでrigit registrationは手入力で可能なので, そこで保存したファイルも指定できると思われます.

• Fixed fiducials

FiducialマーカーとなるPoint of Interestを指定. DICOM-RTファイルを読み込んだ際はアイソセンターや線量評価点として指定したものがリストにあげられるので, プルダウンで指定します. プルダウン最後に「Create new MarkupsFiducial」があるので新たに作ることも可能

• Moving fiducials

Fixed Fiducialsで指定した点と対応する点を指定.

• Fixed fiducials (Old), Moving fiducials (Old)

上記と基本的には同じと思われるが, 何が違うか不明です. おそらく互換性のため古いバージョンの際の処理を残している?

• Output volume

変形後の画像を出力名を指定します. ファイルではなく3DSlicer内部に保管する形ですのでもとのCT画像などと同じ扱いで扱えるようになります. もちろん後で3DSlicerで保存すればファイルに保存できます.

• Output B-spline transform (MRML)

これも計算されたB-Splineの変形パラメーターと言ったほうがいいのかもしれませんが, 3DSlicerの内部に保管されます(MRML形式) . 後でファイルに書き出すことも可能です.

• Output vector field (MRML)

こちらはDVF版. これも3DSlicerの内部に保管されます.

• warped fiducials (MRML)

これも変形後のfiducialマーカー(POI) . プルダウンメニューの最後にあるCreate new MakeupsFiducial で新たな名前をつけて保存したほうがいいと思います.

• Output B-spline transform (file), Output vector field (file), warped fiducials (file)

これら3つは上記の内容をファイルに保存する指定です. ファイル名を指定します.

• Cost function

選択しとしてMSE (Mean squared error)かMI(Mutual information)のどちらかの選択となっています. 基本的に同じモダリティ-の画像をDIRしたいのであればMSE, 異なるモダリティであればMIが適切かと思います.

• Hardware

GPUを使うか, CPUのみの処理を指定します. GPUが使えるならそのほうが早いです. ただし, CUDAが使えるビデオカードを搭載していることや, ライブラリを入れておくなど自身で設定する場合は少しハードルが高いかと思います(Linuxの場合. Windowsはライブラリなどは少し楽かも, 未確認ですが).

よく分からなければCPUを選択.

• Output type

出力されるデータの数値の精度を選択できます. が, 基本Autoでいいのではと思います.

プログラミング経験がある人には馴染みの変数の型ですが, やらない人には馴染みのない名前ですので. ちなみにDoubleが一番精度がいい小数点数を保存できます. 少数はあとFloatのみ. ほかは整数になるので, 選択すると少数が出た場合切り捨てられます. この設定がどこまで(どの出力にたいして)有効なのかは未確認です. 浮動小数点数があるので, DVFなどもここの指定で制御されるのかと思っています.

Stageの設定

設定項目はまだスクロールすると続きがあります. ここから, レジストレーションの設定になります. スクロールしたパラメータの設定を下の図にします.

設定項目はすべて, パラメータを指定するか選択する(しない)かしなければなりません. デフォルトで設定値などが入力されているのでそれを基準に調整してはと思います.

Stage 0 Options

• Enable Stage 0?

このStage 0を実施するかどうかを指定. チェックボックスにチェックを入れると実施されます.

Stage 0はいわゆるrigit registrationになります.

画像全体的な位置のズレがある場合に実施したほうがいい設定. 位置ずれがなくても臨床データの場合, 回転などや体の歪みなどもあるので, チェック入れておいて損はないと思われます.

• Image subsampling rate (vox)

対象の画像の解像度を粗くする設定. 右図のように5,5,3と指定するとX,Y軸は5voxelごとにサンプリングして解像度を1/5にします. Z軸は3なので3スライスごと.つまり100,100,60のボリュームデータがあれば, この設定だと20,20,20になります.

このサブサンプルの設定があることで, 以降のDIRのStageが複数設定できる意味がうまれます.

はじめは粗い解像度でregistrationすることで画像ノイズに強くなり, Stageを繰り返す中で解像度を上げることで, より精密に合わせていく処理になります.

• Max iterations

最適化の最大繰り返し回数を指定します. 画像の移動等と画像の違いの計算(類似度)を繰り返し徐々に最適な位置を計算する際の, 最大繰り返し回数. 適当な数値はデータによるので試すしかないですが, このExtensionのDocumentには200以上はあまり意味がないと記載されています. まずはデフォルトで実施して満足行かなければ変更するような感じになるかと思います.

• Transformation

Stage 0の特有の設定. Rigitの自由度を設定します. TはTranslation, RはRigit, AはAffineの意味.

Tは平行移動のみの3DOF, Rは平行移動と回転を加えた6DOF, Aは更に拡大縮小などの線形な変形を加えた12DOFとなります. 臨床データで1軸だけ拡大や縮小するようなケースはないと思うので, TかRがデフォルト選択になると思われます.

Stage N Options (N=1,2,3)

ここ以降のStageがDIRの設定となります.

• Enable Stage N?

Stage 1の場合にはない設定項目. このStage (2か3)を実施するかの設定. Image subsampling rateのところで書いたように, subsampling rateなどを変更しつつDIRしていく場合に, (3DSlicerでは最大3段階まで)複数Stageを使って実施します.

Stage 1は必須処理となるので, この設定項目はありません.

Image subsampling rate(vox)

Stage 0と同様, 対象の画像をsubsamplingするための間隔です.

• Grid size(mm)

B-splineでDIRする場合, コントロールポイントが等間隔に置かれ, その位置を調整することで変形します. そのコントロールポイントの間隔. mm単位での指定. subsamplingの粗さを考慮して設定が必要. subsamplingで下げた解像度よりも細かいGrid sizeを指定してもあまり意味がないことになります.

• Regularization

DIRでCost functionで指定した類似度を計算する際, ねじれなどが起こらないように類似度を悪くする計算項を入れる(Regularization/正規化と言われる)が, その項の重み付けの値になります. 大きくすれば変な変形が起こりにくいが最終的な結果が出るまで時間がかかる(繰り返し回数がより多く必要になる)ことになります.

• Landmark Penalty

おそらくfiducialを指定したときにそれらの位置ずれによって類似度を悪くする項があり, その項の重み付けと思われます. PlastimatchのDocumentにも同じ名前の設定がなく, おそらくlandmark_stiffnessにあたると判断(未確認)

• Max iterations

Stage0に同じ

• Output volume_1

Stageごとに結果画像を出力できる設定になります. 結果の名前を指定する. 3DSlicer上に保管されるのでファイルが出力されるわけではありません. 後でファイルに保存することは可能. Noneだと出力しない設定になります.

Options

Stage 3の後にある設定.

• Interactive registration

PopupでマニュアルでDIRをコントロールしたい際にチェックを入れると出るが, チェックを入れて実行しても実行が途中で止まって入力を待つような感じがなくそのまま終了してしまいました. そのため, このOptionsの設定項目がどう反映されるかは不明です.

Apply

設定項目の一番下部右側に「Apply」ボタンがあるので, 上記設定後ボタンを押せばDIRが実施されます.

デフォルト設定(Stage1のみ)で, 160枚程度のCT画像をDIRするのにGPUを使う設定で数分かからないくらいです.

ちなみにPCのスペックは Ryzen 7-3700, メモリ32GB, GeforceRTX-3080といったところです.

システム: Ubuntu20.04 (一応Windows10でもたまに確認)

3DSlicer Version: 4.11.20210226

3DSlicer 　(https://www.slicer.org/)では,以下の2つの方法でDeformable Image Registration (DIR)が可能です.

1.　SlicerRT Extension付属のplastimatchによるDIR

SlicerRTはDICOM-RTを読み込むのに必要になるExtensionです. もともとPlastimatchというコマンドラインのソフトがあり, それの入力, 設定インターフェイスとして3DSlicerが機能しています. SlicerのVersion 4のExtensionから統合されたようです.

Plastimatchは以前サイトに書きましたが, DIRだけでなく, CT画像の再構成やDRRの生成などいろいろなコマンドがあります. (インストールは下のようなアイコンをExtensionで見つけてInstallしてください.)

2.　Elasix ExtensionによるDIR

Elastixもコマンドラインで実行するソフトで, PlastimatchとどうようにSlicerを入力, 設定のインターフェイスにしてます.

3DSlicerでのExtensionのインストールは, メニューバーの右から2つ目の青いアイコンをクリックするとExtensionの管理画面が立ち上がります.

Extensionの管理画面は下のようになっています.

上記画面になっていなければ, 上部のタブで「Install Extensions」タブを選べばこの画面になります. この中からSlicerRTもしくはElastixを選択しインストールします. インストールはこの画面でアイコン下の「INSTALL」ボタンを押すだけです.

たまに, ネット接続が悪く(おそらくサーバーの問題かと) 一覧が表示されなかったり, 表示が数十秒かかるなど反応が遅いときがありますので, 慌てずに気長に対応してください.

追記 3DSlicerのinstall時の注意

3D Slicerは日本語対応がまだできていません. そのためメニュー等はすべて英語になります. メニューが英語であっても使い勝手は悪いかもしれませんが使うことは出来ます. 問題は日本語フォルダがうまく認識してくれないことです. 特に落とし穴が, 日本語ユーザー名にしている場合です.

3DSlicerはWindows10では, デフォルトで下のようなフォルダにインストールされます.

C:\Users\[ユーザー名]\AppData\Local\NA-MIC\Slicer 4.11.20210226

ここで[ユーザー名]としたところにWindowsにログインした際のユーザー名が入ります. そのユーザー名が日本語の場合, 3DSlicerがうまく起動しない可能性があります.

対処方法としては, 日本語の入らないフォルダにインストールする他ありません. 例えば, C:\ 直下にC:\3DSlicer などフォルダを作りそこにインストールすることになります. もしくは, 日本語名にならないユーザー名でアカウントを作ってそのユーザーでインストールするなど.

バージョンが上がって改善されている可能性はありますが, インストールしてもうまく起動しない場合は確認してみてください.

Linuxの場合は未確認です. 日本語のアカウントは作ったことがないので…

Plastimatchを用いると, DIRが可能です. ただしコマンドラインでの実行になります.

DIRは細かなパラメータがたくさんありますので, コマンドラインでの指定はなかなか大変なためか, Platimatchも, いちいちすべてのパラメータをコマンドラインで入力しなくていいように, コマンドファイル(command_file.txt)を作成し, そこにパラメータは記載し下のように実行します.

“>plastimatch registrer command_file.txt”

plastimatch: コマンド

register: 第1パラメータ, させたい処理を指定. 他に”add”, “compare”, “segment”, “threshold”などなど一般的な画像処理用のパラメータもあるようです.

command_file.txt: うえで述べた(今回だと)DIRの処理のパラメータを記載したファイル. 名前に .txtと付いているところで分かるように, テキスト形式のファイルです. command_fileのところは, 間違わなければ何でも構いません.

B-splineでDIRさせる際には, Demonsと比べ割と簡単なパラメータ設定で可能なようです. 下がcommand_file.txtの中身です. とは言っても, これはPlastimatchのサイトのドキュメントにあるサンプルそのままです.

# command_file.txt
[GLOBAL]
fixed=deojohn250.mha       #基準画像のファイル
moving=deojohn165.mha   #変形される画像ファイル
img_out=deojohn_bspline_warped.mha  #変形後の画像を出力するさいのファイル名
xform_out=deojohn_bspline_coefficients.mha  #今回の結果を元に再度実行する際にxform_inにこのファイルを指定することで, 今回の結果を修正するように実行できる.
vf_out=deojohn_bslpine_vf.mha  #Deformatin vectorのデータ

[STAGE] #粗い解像度から始めて3段階(3Stage)でDIRする設定.そのため[Stage]の設定が3つある. 下に行くほど細かく解像度も上げている.
xform=bspline  #B-splineの指定
impl=plastimatch  #ITKの実装(itkと指定)とplastimatchの実装が使えます.
threading=openmp #マルチコアなCPUを使う際に指定.
max_its=30  #最大繰り返し回数
regularization_lambda=0.005  #正規化の重み係数
grid_spac=100 100 100  #FFDのコントロールポイントのグリッド配置(各軸100 pix ごと)
res=4 4 2 #解像度を x,y,z 軸それぞれ 4 pix, 4 pix, 2 pixをまとめ1 pixにする.

[STAGE]
max_its=30
grid_spac=80 80 80
res=2 2 1

[STAGE]
max_its=30
grid_spac=60 60 60
res=1 1 1

入力ファイル, 出力ファイルともに3DSlicerでサポートされている mha形式にしました. DICOM形式の画像はそのままでは指定できませんので, 3D Slicerなどで読み込んだあとmha形式で保存して使うのがいいかもしれません.

PlastimatchのFDKコマンドで再構成フィルタとしてrampフィルターが指定できる. ただし, rampフィルターのみ. そのため, どこでフィルタされているか,また別なフィルタを使いたい場合にどこを修正すればいいかコードを確認した.

まず, plastimatchはCUDAが使えるので, CUDA用コードとCUDAなし用コードがある. CUDA用コードは関数名の頭にCUDA_  が付くいて後は同じ名前になっている.

Githubなどからソースは取得済みである前提で.

FDKのソース: plastimatch/reconstruct/fdk.cxx

この中の reconstruct_conebeam(…) でFDK再構成をしている.  また更にこの中で,

proj_image_filter(…) を呼びここで投影像にフィルターを掛けている.

proj_image_filter()は proj_image_filter.cxxで記述されている.

Proj_imaeg_filterのソース: plastimatch/util/proj_image_filter.cxx

proj_image_filter()は単にramp_filter()へデータを渡すだけのラッパー.

将来的にここでフィルターの切り替えを考えているのかも.

ramp_filterのソース: plastimatch/util/ramp_filter.cxx

ここでramp_filterを実装している. とりあえず, このコードをいじってComplieすれば /ramp指定で書いたフィルタになる.

コマンドラインで使用するレジストレーションソフトがあります.DIRも可能.  Win, Mac, Linax対応.

http://plastimatch.org/

主にRigid/Deformable レジストレーション処理や, 画像合成や抽出, セグメンテーションも可能です. DICE係数を求める処理もあります. その他, フェルドカンプ法による画像再構成やDigitally reconstructed radiograph 作成もできます. DIRに関しては, ITKのライブラリを用いた処理も可能です.

コマンドライン ソフトであるため慣れていない人には戸惑うことになるのではと思います.  nVidia ボードがささったPCであればCUDAを用いた処理も可能です.

少し使い方

DICOM形式サポートを書かれていますが, ボリュームデータとしては(多分) そのままは扱えないため, ITKで使われる形式(nrrd, mha etc…)などに変換して使うことになります. 変換の仕方は

＃plastimatch convert --input dicom-in-dir --output-img outfile.nrrd

dicom-in-dir: DICOM形式のボリュームデータがあるフォルダ

outfile.nrrd: 出力ファイル名. 拡張子で出力ファイル形式を指定.  mhaかnrrdがPlastimatchでは標準のよう.

レジストレーション

rigidにしろdeformableにしても registrationはコマンドファイル(処理の設定ファイル)を作る必要があります. コマンドファイル(command_file.txt) を作成したら, plastimatchでのコマンドは単純に下のようになります.

#plastimatch register command_file.txt

command_file.txtの中身が重要で, 色々指定できますが単純には下のようになります. この例はrigid registrationの例.

# command_file.txt
[GLOBAL]
fixed=image_1.mha
moving=image_2.mha
img_out=warped_2.mha

[STAGE]
xform=rigid
optim=versor
max_its=30
res=4 4 2

#以降はコメントのようです. fixedで指定されているのが合わせられる画像(参照画像), movingが移動/変形される画像.

img_outが変更後の出力画像. 変形方法にrigidが指定されているので6軸(3軸平行移動, 3軸回転)の変換となります.

optimが最適化の方法を指定するようでうが, 幾つか指定できる種類はあるのですがversorがどのような最適化かは詳しく書かれていません.

max_itsは最適化の最大繰り返し回数, resはおそらく変形を計算する際の解像度だと思います.

コマンドラインとしてはちょっと使いづらいという人は3Dslicer というソフトを用いると, 少しだけplastimatchが使いやすくなるようです. 3DSlicerではPlastimatchと連携してレジストレーション処理ができるようです. ただ, コマンドファイルを作らないといけないのは変わらないようです. (処理も大分遅いかも)