3D Slicerのデータ構造(MRML)

この内容は, 3D SlicerのDeveloper Guideの MRML Overview (https://slicer.readthedocs.io/en/latest/developer_guide/mrml_overview.html)の内容を主観を交えて解説しています. Developer向けガイドですので, 内部構造的な表現だったり, すこし3D Slicerでの表示と異なる用語になっていたりしますが, ご了承ください.

3D Slicerで画像などを開くと単に画像データを読み込んだというだけでなく, その他諸々のデータを一括して管理するSceneに読み込んだとして扱われます. 読み込んだデータもしくは処理により出来たデータは, Sceneの中にいくつかの種類に別れたNodeに適宜分別され管理されます.治療のデータ(DICOM-RTなど)は治療計画時の輪郭データであったり, 線量評価点など各種Nodeに分かれて読み込まれます. そのため, 何か(プログラミングなど)しようとした際にそれらNodeの理解が必要になります.

Sceneのデータ構造はMedical Reality Modeling Language (MRML) と言われ, Visualization Toolkitや Insight Toolkitなどで開発されたライブラリだそうです. そのため, Sceneの各NodeにつけられるIDなどには接頭語としてvtkMRML などが付きます(SlicerのDataモジュールで確認可能).

MRMLに含まれるNodeには大きく7種類のNodeがあります. 順に説明します.

  • DataNodes
  • DisplayNodes
  • StorageNodes
  • ViewNodes
  • PlotNodes
  • SubjectHierarchyNode
  • SequenceNode

DataNodes

DataNodesはもっとっも目にするNodeとなると思います. 様々な画像データを含むデータを保存,管理します. DataNodesの代表的な派生Nodeとして下のものがあります.

  • Volume (vtkMRMLVolumeおよび派生クラス)
    • 一般的な画像データ, つまり, Volumeデータなどマトリックス状にスカラー値をもつボクセルによって作られるデータを保存, 管理します. CTやMRI, 一般撮影画像などの2D画像はこのクラスで管理されます. segmentationされた領域のデータも, ボリュームタイプの3Dデータ(対象領域の画素にのみ0以外の値になり, その他は0となるボリュームデータ)であればこのタイプになります. そのほか, スカラー値を持つボクセルと言いましたが, ボクセルに複数の数値データをもつ多次元データやTensorなども含まれたりします. それらには, RGBデータをもつデータ, Deformation Vector Fieldなども含まれます. よく似た4次元データとして時系列データがありますが, 時系列のデータは別途SequenceNodeがあるのでそちらで扱われます.
  • Model (vtkMRMLModelNode)
    • 体表面を形どったサーフフェイスメッシュや, 内部もメッシュとして分割されたボリュームメッシュを保存・管理します. 治療の輪郭は次のSegmentationとして扱われます.
  • Segmentation (vtkMRMLSegmentationNode)
    • 名前の通りSegmentationされたデータを扱います. 治療の輪郭やラベリングされた領域などがこのNodeになります. データ形式は複数の形式で保管することができ, メッシュやBinaryLabelmapとしても保管されたりします. プログラムコード的にはクラス内部にVolumeやModelのクラス変数を持っているのではと思います.
  • Markups (vtkMRMLMarkupsNodeとその派生クラス)
    • 幾何学的な位置や直線, 曲線などを管理します. Fiducial markerや計測のための位置や領域を表す座標値, アノテーションを付す位置の情報などとなります.
  • Transform(vtkMRMLTransformNode)
    • 画像を変形させるための情報を保管します. 線形, 非線形問わず管理されます. 一応, Linear, B-spline, grid用の3種類の派生クラスがあります.
  • Text(vtkMRMLTextNode)
    • 設定ファイルや説明テキストなどのテキスト情報
  • Table(vtkMRMLTableNode)
    • 表敬式のデータを管理. 計算結果や計測結果などを表示するためのデータ.

DisplayNodes (vtkMRMLDisplayNode)

DIsplayNodeは表示用設定を保存します. 表示のためのデータ自体はないので, DataNodeと連携してデータを表示します.

表示設定ですので, 一つのデータを様々な設定で表示することもありえます. その際は複数のDisplayNodeをもつことになります.

逆にDataNodeは表示設定がないため, とりあえず表示もDisplayNodeに頼ります. そのため, DataNodeが1つ作られると, 必ずデフォルトでDisplayNodeが作られます.

このNodeは1種類ですので, vtkMRMLDisplayNodeとすでにNode IDがついています.

StorageNodes(vtkMRMLStorageNode)

ファイルの保存のしかたを管理するクラス. 保存する情報としては, ファイル名やファイル形式, 座標系など.

ViewNode(vtkMRMLAbstractViewNode)

画像表示のための周辺の設定を管理する. Abstractとついているようにプログラミングでは派生クラスを使うのが通常になる. 派生クラスにはしたの種類がある

  • vtkMRMLCameraNode
    • 3D viewのカメラ位置・向きなどの設定を管理する
  • vtkMRMLClipModelNode
    • ModelNodeをクリップするスライスの設定を管理する
  • vtkMRMLCrosshairNode
    • カーソル位置を示すクロスヘアラインの設定を管理する
  • vtkMRMLLayoutNode
    • 画面レイアウト(分割方法やどのパネルに何を表示するかなど)を管理する
  • vtkMRMLInteractionNode
    • マウス操作などの設定を管理する
  • vtkMRMLSelectionNode
    • Scene全体の情報を管理する. 全体で使用される単位や現在のSceneの状態など.

PlotNodes

TableNodeのデータをどのようにグラフで表示するかを設定する. 以下の3種類がある.

  • PlotSeriesNode
  • PlotViewNode
  • PlotChartNode

SubjectHierarchyNode(vtkMRMLSubjectHierarchyNode)

DataNodeの各ノードを階層形式で管理する. おそらくData moduleを表示した際に表示されるデータのツリー構造を示すためのnode. Sceneに一つのみ作られる.

SequenceNode

DataNodeのタイムシーケンスのリストや多次元データをリストとして管理する.

SequenceBrowserNodeがどのDataNodeを今表示するか(しているか)を管理する.

3DSlicerによるDIR: Plastimatch v.s. Elastix

OS: Ubuntu 20.04

3DSlicer Version: 4.11.20210226

Extension SlicerElastix, SlicerRT1.0.0

Plastimatch v.s. Elastixとしましたが, あくまで1例試して比較した際の個人の意見です.

それぞれの処理の最適化もなにもしていません. 基本デフォルトの設定での処理です.

まず, 処理時間

Ubuntu 20.04, CPU Ryzen7-3700, メモリ 16MB, GPU GeforceRTX 3080 での処理です.

対象画像はDIR-DBにある頭頸部の#12の症例. CT1(実施時にRenameしています)が180枚, CT2が176枚のCT画像です.

PlastimatchはRigitを含めStage3まですべてEnableにして実施. 各ステージの設定はデフォルトのまま. Cost functionはMSE, HardwareはGPUを選択したのですが, リソースモニターではCPUしか動いていませんでした. CUDAは入れてありますが, GPU使うための設定はなにもしていないので, なんらか設定が必要なのかもしれません.

ElastixはPresetをgeneric(all)を選んだだけです.

処理時間

Plastimatch 約45秒

Elastix 約5分

処理時間は, どのような処理をしているかにも大きく依存するので, それらを統一していない処理で比べてもなんとも言えませんが, すこしPlastimatchのほうがいいのかなという個人的な感想です.

結果画像

画像上段左がFixed Image (CT1), 下段左がPlastimatch, 右がElastixです. 少しわかりにくかったのでCT1とCT2の輪郭を一緒に載せています. CT1のピンクの体輪郭(CT2のものもあるのでCT1の画像を参照してください)にどれだけあっているかを見てもらえばいいですが, Plastimatchは左肩あたりが少しElastixより違いが大きいし, すこしボケたような画像になっています.とはいえ僅かな差かと思います.

ついで, もう少し上のスライスで歯冠のアーティファクトがあるスライス前後になると, Elastixは極端に間違った変形となっています. Plastimatchはうまくアーティファクトを対象外にしているのか変な変形はありません. ただし, 顎の形などを見ると変形前の輪郭に近いので, アーティファクトのある部分は変形しないという処理なのかもしれません.

所見

今回の処理では若干Plastimatchのほうが良い結果でした. ただし, 処理自体を何も調整していない状態での比較なので, 結果画像の比較に大きな意味はあまりないようにも思います. おそらくElastixにも対象とする画素値の範囲を設定したりできるのではと思いますので, 今回アーティファクトが原因で変な変形になったとしても処理を最適化していけば良い結果を得れるのではと思います.

処理時間のところで書いたPlastimatchが少し良さそうとしたのは, おもに処理時間の結果とその将来性によります. 今回どちらもCPUのみでの処理で5倍以上の差が出ており, さらにPlastimatchのほうがGPUを使う設定があります. ちゃんとGPUの設定すればもっと早く処理できるのではと思います. 結果画像も大差ないうえでは, 処理時間とその将来性からすこしPlastimatchのほうがいいのではないかと思います.

本来, PlastimatchもDemons法でのDIRができたりするのですが, 3DSlicerのExtensionになった時点で, その処理が選べなくなります. Elastixも同様で, Extensionになることで, 本来できる機能, 処理の1部しか使用できなくなります. そういった意味では, どちらもコマンドラインで処理すればいいのですが, それだとここで3DSlicerのextensionとして説明してきた意味が… Slicerの中で実施できることですぐに結果画像を確認できるメリットや, 他のモジュールを使って評価や検証ができたりします. その意味ではExtensionであることの意味は大きいと思います.

ElastixのExtensionは初心者か上級者向けと書きました. それは, そのままでもある程度使えるようにしてくれていることと, さらに, 処理の変更や調整が設定を書いているファイルを編集することで可能になるので,上級者はさらに深く使えるところにあります.

Plastimatchは中級者クラスの人が, B-Splineで少しステージ数や解像度の調整など微調整ができるので, そのくらいでいいのであれば使いやすいExtensionだと思います. ただ, それ以上の変更をしたい場合は, たぶんこのExtensionではできないので, Elastixやコマンドラインでの実行にせざる得なくなると思います.

どっち使うかは自分のやりたいことにあった方を選ぶことになると思います.

3D SlicerによるDIR: Elastix

OS: Ubuntu 20.04

3DSlicer Version: 4.11.20210226

Extension SlicerElastix

Elastixも3D Slicerで使えるDIRソフトです. Install編で説明したようにExtensionを入れれば使えるようになります.

3D slicerでの設定は, ごく簡単な設定になり, 細かな設定は設定ファイルに書かれておりそれを選んで実行することになります.

ElastixでDIRをしようとした場合, Moduleは「Registration」->「General Registration(Elastix)」を選びます.

下の図が設定項目になります. Plastimatchと比べここで設定できる項目は本当にシンプルです. ElastixのExtensionはplastimatchと比べ一見簡単そうですが, 処理の調整などをしようとするとファイルの記載を変更しなければならないため, とりあえずDIRさせたい, もしくはある程度DIRやプログラミングの知識がある人がガッツリ調整してDIRしたい, どちらか両極端な方向けかと思います. 順に説明していきます.

Elastixのモジュールインターフェイス
  • Reload&Test

この見出しの項目は, このElastix moduleのインターフェイスを変更する場合に使います. 例えばElastixにある機能/設定でこれ以降の見出しの設定項目にない設定を追加したい場合などを想定した機能かと思います. Editボタンをクリックして編集していきますが, インターフェイスを作るPythonコードが立ち上がります. Pythonを理解しかつ3DSlicerのmoduleのコード記載方法を理解していないと変更できないと思います.

そのため, わからない人は触らないほうが無難な設定項目です.

  • Parameter set

この設定は, いまいちなんのためなのか理解できていません. おそらくですが, 新規作成が Create new scripted module となっているので,モジュールの調整ではと推測します. となると, 上記のReload&TestでEditしたインターフェイスを保存するような役割かと思います. あまりいじる必要はないように思います.

  • Inputs

DIRする画像を選択します. Fixed volume,Moving volumeは基準となるボリュームと変形されるボリュームとそれぞれ指定してください.

PresetがDIRの設定となります. 設定となります書きましたが, 設定を細かく変更はできません. すでに作られている設定を選ぶだけになります. プルダウンで選択項目を見ると, CT-CTだけでなくMRI,PETなどマルチモダリティでDIRする設定も多くあります. 自分がしたい処理にあったものを選んでください.

ここで, これらPresetの設定が何をしているかですが, プルダウンで表示される選択項目はSlicerがインストールされているフォルダの下

[Slicerのフォルダ]/lib/Slicer-4.11/qt-scripted-modules/Resources/RegistrationParameters

というフォルダに, ElastixParameterSetDatabase.xmlというファイルがあります. ここで規定されています. ElastixParameterSetDatabase.xmlの冒頭部分は下のようになっています.

<ParameterSet … > </ParameterSet>までが一つのPresetになっており, modality= に記載されている名前がPresetとしてプルダウンメニューに出てきていると思います. <PrameterFiles>以下にあるのがこのPresetで使用する処理の設定ファイルの名前です. Presetの「general(all)」で実行されるのは Parameters_Rigit.txt と Parameters_BSpline.txt ですので, ファイル名的に, rigitをしてB-SplineのDIRを実施する処理のようです.

<?xml version="1.0" encoding="UTF-8"?>
<ElastixParameterSetDatabase>
  <ParameterSet id="default0"
    modality="generic"
    content="all"
    description="'default' parameter files for starting elastix users"
    publications="">
    <ParameterFiles>
      <File Name="Parameters_Rigid.txt" />
      <File Name="Parameters_BSpline.txt" />
    </ParameterFiles>
  </ParameterSet>
  <ParameterSet id="default0"
    modality="generic rigid"
    content="all"
    description="'default' parameter files for starting elastix users"
    publications="">
    <ParameterFiles>
      <File Name="Parameters_Rigid.txt" />
    </ParameterFiles>
  </ParameterSet>

またParameters_Rigit.txt と Parameters_BSpline.txt はElastixParameterSetDatabase.xmlがあるフォルダにあり, そこには他に様々な名前の.txtファイル(設定ファイル)があります. それぞれの具体的な処理の設定が.txtファイルで規定されています.

  • Masking

DIRをする範囲を指定できます. maskに使用するのはLabelmapになり, DICOM-RTを読み込んで輪郭をMaskにしたい場合は, 輪郭をLabelmapに変換しておく必要があります. Labelmapがあれば, どれをMaskに使用するか選択できます.

  • Outputs

出力先を指定します. 基本的に出力しないことはないと思いますので, Create new volume かCreate new volume as…を選ぶことになると思います. いずれも3D slicer内部で保存されている状態になるので, ファイルへは別途保存する必要があります.

output volumeは変形後の画像, output transformはDVFを出力することになります.

  • Advanced

ここはelastix上級者向けに役立つ機能です. 基本的にDIRをの処理を調整したい場合(新たにPresetを作るとか, 設定txtを作るとかの場合)かと思います.

Show detailed log during registrationは詳しいlogを表示してくれますし, Keep temporary filesで途中経過のファイルを残してくれます. Registration presetsは右のボタンで, 上のPresetのところで説明した設定ファイルがあるフォルダを開いてくれます.

Force grid output transformは未確認ですが, Transformモジュールで出力されたtransformのデータを見ると, チェックが入っていないほうがTransformモジュールのinformationのところにより詳しい情報が表示されます. B-Splineの情報などが出ますので, チェックがないとDVFになっていないパラメータの状態でデータを保管しているのかと思います. 3DSlicerのデータ形式でvtkMRMLBSplineTransformNodeとvtkMRMLGridTransformNodeと別になっていますので, チェックを入れることで, BSplineTransformNodeをGridTransformNodeに変換してくれて出力するのかと思います.

Custom Elastix toolbox locationもよくわかっていません. 右の入力項目にはファイルを指定するようです.

  • Applyボタン

Applyボタンでこれまでの設定でDIRを実行します.

3DSlicerによるDIR: Plastimatch

OS: Ubuntu 20.04

3DSlicer Version: 4.11.20210226

SlicerRT(Plastimatch含む) version: 1.0.0

PlastimatchのDIRのパラメータの説明はすでにコマンドライン版として過去に書いていたのでそちらも参考にしてもらえればと思います. 3DSlicerでできるDIRはPlastimachで設定できる項目の一部のようです. 3DSlicerでのPlastimatchの結果に満足行かない場合は, コマンドラインのPlastimatchを使用するか, 他のDIRソフトを使用する必要があると思います.

今回は主にインターフェイスの説明になります.

まずはDIRをしたい2つの画像が開かれている状態を前提とします.

その後 モジュールをPlastimatchのB-Spline deformable registrationに変更します. 下の画面ではすでに選択されていますが, Module右のプルダウンで, 「Plastimatch」 ->「Registration」->「B-Spline deformable registration」を選択してください. そうすると, 下のような設定項目のインターフェイスになります.

Plastimatch Moduleのインターフェイス

見出し頭の ▶ をクリックすることで内容が表示されます.

DIR関係で一番上となる「Parameter set」は「B-Spline deformable registration」が入っていると思いますが, この選択はこれ以降の設定をひとまとめとして保存しておく機能のようです.

Parameter setをプルダウンで開くと「Create a new parameter set」とparameter setを作成できるので良い設定ができれば保存しておけばいいと思います.

左図は少し入力していますが, はじめは何も入力されていない状態だと思います.

各パラメータの説明 (最低限必要な設定は赤字)

  • Fixed volume, Moving volume

Fixed volume, Moving volumeは説明不要かと思います. それぞれ, 3DSlicerで開いている画像をプルダウンで指定できます.

  • Input B-spline transform(MRML)

B-spline で得られた変形を記録したMRMLを指定. 一度行ったDIRから再度DIRしたいときに使う(かな?). MRMLは3DSlicerのデータ保持の内部形式なので, 後にあるOutput B-spline transform (MRML)で出力を指定した場合(それを保存していた場合)に指定可能になると思います.

MRMLは3DSlicerのDataモジュールで左図のインターフェイスの代わりに表示される開いているデータ一覧で確認できます.

  • Input vector field (MRML)

上の B-spline transformと同様 ここでは3DSlicerに保存されてたDeformation vector fieldを指定. B-spline transformと両方指定する必要があるのかは未確認

  • Input transform (file)

上記MRMLで3DSlicerに記録されているもの以外で, transformを保存したファイルを指定. 3DSlicerのTransformモジュールでrigit registrationは手入力で可能なので, そこで保存したファイルも指定できると思われます.

  • Fixed fiducials

FiducialマーカーとなるPoint of Interestを指定. DICOM-RTファイルを読み込んだ際はアイソセンターや線量評価点として指定したものがリストにあげられるので, プルダウンで指定します. プルダウン最後に「Create new MarkupsFiducial」があるので新たに作ることも可能

  • Moving fiducials

Fixed Fiducialsで指定した点と対応する点を指定.

  • Fixed fiducials (Old), Moving fiducials (Old)

上記と基本的には同じと思われるが, 何が違うか不明です. おそらく互換性のため古いバージョンの際の処理を残している?

  • Output volume

変形後の画像を出力名を指定します. ファイルではなく3DSlicer内部に保管する形ですのでもとのCT画像などと同じ扱いで扱えるようになります. もちろん後で3DSlicerで保存すればファイルに保存できます.

  • Output B-spline transform (MRML)

これも計算されたB-Splineの変形パラメーターと言ったほうがいいのかもしれませんが, 3DSlicerの内部に保管されます(MRML形式) . 後でファイルに書き出すことも可能です.

  • Output vector field (MRML)

こちらはDVF版. これも3DSlicerの内部に保管されます.

  • warped fiducials (MRML)

これも変形後のfiducialマーカー(POI) . プルダウンメニューの最後にあるCreate new MakeupsFiducial で新たな名前をつけて保存したほうがいいと思います.

  • Output B-spline transform (file), Output vector field (file), warped fiducials (file)

これら3つは上記の内容をファイルに保存する指定です. ファイル名を指定します.

  • Cost function

選択しとしてMSE (Mean squared error)かMI(Mutual information)のどちらかの選択となっています. 基本的に同じモダリティ-の画像をDIRしたいのであればMSE, 異なるモダリティであればMIが適切かと思います.

  • Hardware

GPUを使うか, CPUのみの処理を指定します. GPUが使えるならそのほうが早いです. ただし, CUDAが使えるビデオカードを搭載していることや, ライブラリを入れておくなど自身で設定する場合は少しハードルが高いかと思います(Linuxの場合. Windowsはライブラリなどは少し楽かも, 未確認ですが).

よく分からなければCPUを選択.

  • Output type

出力されるデータの数値の精度を選択できます. が, 基本Autoでいいのではと思います.

プログラミング経験がある人には馴染みの変数の型ですが, やらない人には馴染みのない名前ですので. ちなみにDoubleが一番精度がいい小数点数を保存できます. 少数はあとFloatのみ. ほかは整数になるので, 選択すると少数が出た場合切り捨てられます. この設定がどこまで(どの出力にたいして)有効なのかは未確認です. 浮動小数点数があるので, DVFなどもここの指定で制御されるのかと思っています.

Stageの設定

設定項目はまだスクロールすると続きがあります. ここから, レジストレーションの設定になります. スクロールしたパラメータの設定を下の図にします.

設定項目はすべて, パラメータを指定するか選択する(しない)かしなければなりません. デフォルトで設定値などが入力されているのでそれを基準に調整してはと思います.

Plastimatchのインターフェース(続き)

Stage 0 Options

  • Enable Stage 0?

このStage 0を実施するかどうかを指定. チェックボックスにチェックを入れると実施されます.

Stage 0はいわゆるrigit registrationになります.

画像全体的な位置のズレがある場合に実施したほうがいい設定. 位置ずれがなくても臨床データの場合, 回転などや体の歪みなどもあるので, チェック入れておいて損はないと思われます.

  • Image subsampling rate (vox)

対象の画像の解像度を粗くする設定. 右図のように5,5,3と指定するとX,Y軸は5voxelごとにサンプリングして解像度を1/5にします. Z軸は3なので3スライスごと.つまり100,100,60のボリュームデータがあれば, この設定だと20,20,20になります.

このサブサンプルの設定があることで, 以降のDIRのStageが複数設定できる意味がうまれます.

はじめは粗い解像度でregistrationすることで画像ノイズに強くなり, Stageを繰り返す中で解像度を上げることで, より精密に合わせていく処理になります.

  • Max iterations

最適化の最大繰り返し回数を指定します. 画像の移動等と画像の違いの計算(類似度)を繰り返し徐々に最適な位置を計算する際の, 最大繰り返し回数. 適当な数値はデータによるので試すしかないですが, このExtensionのDocumentには200以上はあまり意味がないと記載されています. まずはデフォルトで実施して満足行かなければ変更するような感じになるかと思います.

  • Transformation

Stage 0の特有の設定. Rigitの自由度を設定します. TはTranslation, RはRigit, AはAffineの意味.

Tは平行移動のみの3DOF, Rは平行移動と回転を加えた6DOF, Aは更に拡大縮小などの線形な変形を加えた12DOFとなります. 臨床データで1軸だけ拡大や縮小するようなケースはないと思うので, TかRがデフォルト選択になると思われます.

Stage N Options (N=1,2,3)

ここ以降のStageがDIRの設定となります.

  • Enable Stage N?

Stage 1の場合にはない設定項目. このStage (2か3)を実施するかの設定. Image subsampling rateのところで書いたように, subsampling rateなどを変更しつつDIRしていく場合に, (3DSlicerでは最大3段階まで)複数Stageを使って実施します.

Stage 1は必須処理となるので, この設定項目はありません.

Image subsampling rate(vox)

Stage 0と同様, 対象の画像をsubsamplingするための間隔です.

  • Grid size(mm)

B-splineでDIRする場合, コントロールポイントが等間隔に置かれ, その位置を調整することで変形します. そのコントロールポイントの間隔. mm単位での指定. subsamplingの粗さを考慮して設定が必要. subsamplingで下げた解像度よりも細かいGrid sizeを指定してもあまり意味がないことになります.

  • Regularization

DIRでCost functionで指定した類似度を計算する際, ねじれなどが起こらないように類似度を悪くする計算項を入れる(Regularization/正規化と言われる)が, その項の重み付けの値になります. 大きくすれば変な変形が起こりにくいが最終的な結果が出るまで時間がかかる(繰り返し回数がより多く必要になる)ことになります.

  • Landmark Penalty

おそらくfiducialを指定したときにそれらの位置ずれによって類似度を悪くする項があり, その項の重み付けと思われます. PlastimatchのDocumentにも同じ名前の設定がなく, おそらくlandmark_stiffnessにあたると判断(未確認)

  • Max iterations

Stage0に同じ

  • Output volume_1

Stageごとに結果画像を出力できる設定になります. 結果の名前を指定する. 3DSlicer上に保管されるのでファイルが出力されるわけではありません. 後でファイルに保存することは可能. Noneだと出力しない設定になります.

Options

Stage 3の後にある設定.

  • Interactive registration

PopupでマニュアルでDIRをコントロールしたい際にチェックを入れると出るが, チェックを入れて実行しても実行が途中で止まって入力を待つような感じがなくそのまま終了してしまいました. そのため, このOptionsの設定項目がどう反映されるかは不明です.

Apply

設定項目の一番下部右側に「Apply」ボタンがあるので, 上記設定後ボタンを押せばDIRが実施されます.

デフォルト設定(Stage1のみ)で, 160枚程度のCT画像をDIRするのにGPUを使う設定で数分かからないくらいです.

ちなみにPCのスペックは Ryzen 7-3700, メモリ32GB, GeforceRTX-3080といったところです.

3D SlicerによるDIR: Install

システム: Ubuntu20.04 (一応Windows10でもたまに確認)

3DSlicer Version: 4.11.20210226

3DSlicer  (https://www.slicer.org/)では,以下の2つの方法でDeformable Image Registration (DIR)が可能です.

1. SlicerRT Extension付属のplastimatchによるDIR

SlicerRTはDICOM-RTを読み込むのに必要になるExtensionです. もともとPlastimatchというコマンドラインのソフトがあり, それの入力, 設定インターフェイスとして3DSlicerが機能しています. SlicerのVersion 4のExtensionから統合されたようです.

Plastimatchは以前サイトに書きましたが, DIRだけでなく, CT画像の再構成やDRRの生成などいろいろなコマンドがあります. (インストールは下のようなアイコンをExtensionで見つけてInstallしてください.)

2. Elasix ExtensionによるDIR

Elastixもコマンドラインで実行するソフトで, PlastimatchとどうようにSlicerを入力, 設定のインターフェイスにしてます.

3DSlicerでのExtensionのインストールは, メニューバーの右から2つ目の青いアイコンをクリックするとExtensionの管理画面が立ち上がります.

3DSlicerのメニューバー
ExtensionのIcon

Extensionの管理画面は下のようになっています.

Extension管理画面. 上部のタブで現在インストールされているExtension, すべてのExtension, 旧バージョンのSlicerなどで使用していたExtensionを切り替えできます.

上記画面になっていなければ, 上部のタブで「Install Extensions」タブを選べばこの画面になります. この中からSlicerRTもしくはElastixを選択しインストールします. インストールはこの画面でアイコン下の「INSTALL」ボタンを押すだけです.

たまに, ネット接続が悪く(おそらくサーバーの問題かと) 一覧が表示されなかったり, 表示が数十秒かかるなど反応が遅いときがありますので, 慌てずに気長に対応してください.

追記 3DSlicerのinstall時の注意

3D Slicerは日本語対応がまだできていません. そのためメニュー等はすべて英語になります. メニューが英語であっても使い勝手は悪いかもしれませんが使うことは出来ます. 問題は日本語フォルダがうまく認識してくれないことです. 特に落とし穴が, 日本語ユーザー名にしている場合です.

3DSlicerはWindows10では, デフォルトで下のようなフォルダにインストールされます.

C:\Users\[ユーザー名]\AppData\Local\NA-MIC\Slicer 4.11.20210226

ここで[ユーザー名]としたところにWindowsにログインした際のユーザー名が入ります. そのユーザー名が日本語の場合, 3DSlicerがうまく起動しない可能性があります.

対処方法としては, 日本語の入らないフォルダにインストールする他ありません. 例えば, C:\ 直下にC:\3DSlicer などフォルダを作りそこにインストールすることになります. もしくは, 日本語名にならないユーザー名でアカウントを作ってそのユーザーでインストールするなど.

バージョンが上がって改善されている可能性はありますが, インストールしてもうまく起動しない場合は確認してみてください.

Linuxの場合は未確認です. 日本語のアカウントは作ったことがないので…

日本放射線技術学会誌 教育講座 放射線技術学におけるImageJの活用 記事連携ページ

日本放射線技術学会誌で教育講座 「放射線技術学におけるImageJの活用」というシリーズ記事の最後を担当しました. その中でImageJのPlugin作成を書いたのですが, その際使用したサンプルコード, CT画像, StructureSetのファイルをダウンロードできるようにしておきます.

CT画像(solid.zip)

一般的なDICOM形式のCT画像のファイルをzipでまとめています. 使用する際には解凍してお使いください.

StructureSet ファイル(solid40cm_StrctrSets.dcm)

DICOM-RTに含まれるStructure setのファイルです. 拡張子がdcmですが, ImageJなどでそのまま開くことは出来ません.

Plugin プログラムコード(JSRT_RTSt_reader.java)

教育講座で使用したプログラムコードです. 拡張子がjavaですので, そのままではImageJで実行はできません. ImageJのPluginsフォルダーにコピーし, ImageJのメニューからプラグイン->コンパイルして実行を選択し, このファイルを指定してください.

2019年度 北信がんプロセミナー Deep learning講習会

2020/2/26

コロナウィルスのため中止としました!

昨今放射線治療の分野にもDeep learningが活用されてきています. そこで, deep learningを始める取っ掛かりとして活用いただけるDeep learning講習会を北信がんプロセミナーとして開催いたします.

講師は, JAMITやMIIでdeep learning講習会を開いておられる岐阜大学 原先生にお願いいたしました. 日程等は下記の通りです.

(残念ながらすでに定員となり参加受付は締め切らせていただきました.)

北信がんプロセミナーの案内のダウンロードはここからどうぞ

参加者には事前準備をしていただきます. 事前準備の案内は開催日1ヶ月ほど前にご案内いたします.

日時:    2020年2月29日(土)   10:00 ~ 17:00

場所:    金沢大学 医薬保健学域 保健学類  4号館1F  4111講義室

参加費:   無料

講師 :   原 武史 教授

岐阜大学工学部電気電子・情報工学科
岐阜大学人工知能研究推進センター

プログラム:

9:30-10:00  受付

10:00- 17:00 (休憩適宜,  12:00-13:00 昼休み)

・畳み込みニューラルネットワークによる画像分類と回帰
・U-Netによる領域分割
・DICOM画像の取り込み  他