トレースいらずの画像→ポーズ変換
写真からポーズを写すとなると、普通はトレースすることになり、しかもその絵は撮影者が選んだ角度のままです。「写真からポーズ」はその逆。頭・肩・ひじ・手首・腰・ひざ・足首の位置を読み取り、各手足が奥行き方向にどう向いているかを推定して、同じ角度を3Dデッサン人形に設定します。結果は平面の輪郭ではなく、ぐるりと回して見られる本物のポーズです。
だから読み込んだあとも役に立ちます。上から見て短縮を確認したり、向かい合うキャラクター用に左右反転したり、広角レンズに替えて迫力を出したり、体の後ろに隠れていた手を少し動かしたり。お気に入りの資料を新しい角度で組み直すアーティストもいれば、動画のフレームからキーポーズを起こすアニメーターもいます。
ControlNet用のOpenPose骨格
Stable Diffusionで画像を生成するなら、OpenPose出力をそのまま使えます。PNGはControlNetのOpenPoseモデルの学習に使われた標準のCOCO-18キーポイント配置と配色に従い、写真と同じサイズで黒背景に描かれます。プリプロセッサを「none」にしてControlNetに読み込めば、生成される人物が写真のポーズをとります。
OpenPose JSONはおなじみのpose_keypoints_2d形式なので、OpenPoseエディターやキーポイントを受け付けるComfyUIノードで開けます。骨格は3Dの人形から作られるため、エディターでカメラを回して、同じポーズを好きな角度からOpenPose画像として書き出すこともできます。2Dのポーズ推定だけではできないことです。
きれいに検出するコツ
- 頭から足まで全身をフレームに収め、周囲に少し余白を残しましょう。
- 見切れていない、はっきり写った人物が最適です。複数人の場合は、十分に鮮明な人（最大5人）がそれぞれ同じシーン内で専用の人形になります。大部分が隠れている人は除外されることがあります。
- 均一な光と体に沿った服が有利です。だぼっとしたコート、濃い影、体の前にある小物は関節を隠してしまいます。
- 横向きの写真では、奥側の腕と脚が一部隠れます。それらの部位には確認マークが付くので、エディターでさっと見直せば直せます。
- 手足の前後が逆に見える場合は、その部位の「反転」ボタンを押してください。1枚の写真では奥行きが本質的にあいまいです。
できること・できないこと
身体モードは写真1枚につき最大5人に対応し、手のランドマークが検出されれば各指の関節も再現します。手モードは最大2つの手を検出し、1つずつ編集できます。どちらのモードも顔、表情、外見は再現しません。隠れた指、見切れた手、デフォルメされた絵は正確に再現できない場合があるため、結果を確認して調整してください。ファイル、ブラウザー、モデルの読み込みに関するエラーは、モードを切り替えずにそのまま表示します。