 |
| 様々な教育が社内では展開されていますが、 その有効性はどのように検証していますか？ |
HDS Consulting
コンサルタントという立場だと、クライアント全体で何が効果的に機能しているのか、共通の問題点とは何かを把握できるという利点があります。そのため、事例のガイダンスや共有する問題を回避するための実践的アドバイスの提供を目的として、プロジェクトにご一緒させて頂く機会が多くあります。
最近の例として、「教育の有効性を検証するための最善の方法とは何ですか？」といった質問をクライアントから受けました。「教育の有効性をどのように定義していますか？」と、コンサルタント的には定番の返事を返したところ、「はっきりとは分からないのですが、さまざまな監査で指摘されます」との回答がありました。
教育の有効性とは何か？
では、教育の意味を掘り下げて、定義するところから始めてみましょう。「効果的な教育」というと、担当者が教育で新たなスキルや知識を学んで、業務などを改善・向上することが頭に浮かびます。
基本的には、教育の有効性とは、教育を実施した結果、組織内における担当者の知識やスキル、行動パターンがどの程度、改善されたかで図ります。
簡単に言えば、教育の目的が実際に達成されているかということです。教育で予定された内容をすべて習得できているか？参加した担当者は、教育で学んだことを翌日の業務から活かすことができているか？ということなのです。
特に、GMP規制を受ける環境下では、教育の有効性が頻繁に取り上げられています。しかし、曖昧な部分が多いともいえます。いわゆる、教育の有効性が何であるか、どのように導入すればいいのか、有効な教育というものに対し規制当局は何を求めているかといった内容を、誰もが明確に理解できずにいるのです。規制の内容を見ても（後述する規制をご参照ください）非常に漠然としています。内容を要約すると、「組織は教育の有効性を定期的に評価するプログラムを持つこと」といった内容が述べられており、解釈する上でかなり曖昧な部分があります。この点に加えて、概念の実践に関しては、限られた実用的情報しかない点、また監査で指摘されたが内容は不明確であるといった現状を加味して、考えていきましょう。
本記事に関連するホワイトペーパー
教育の有効性についての認識
規制要件の観点からみた傾向
規制当局による教育の有効性への注目度は高くなっています。しかしながら、FDAが教育の有効性について指摘することは、組織の再教育（所見の結果やCAPA関連の場合が通常）が機能していないと再三に渡って実証される場合を除き、ほとんどありません。以下に示すサイクルについては、ご存じだと思います。
1. 監査の所見で、根本原因は人為的要因によると指摘を受ける。
2. 該当人員の再教育を実施する。
3. 逸脱が再発する。
4. 根本原因は人為的要因によると特定される。
5. 再教育を再び実施する。
6. そしてまた逸脱が再発というサイクルが繰り返される。
このような場合の典型として、根本原因の適切な分析が行われていないことが推測できますが、これは別のトピックとしましょう。
最近、元FDA担当者に、「製薬企業が有効な教育を行っているというデータの根拠や証言を示す資料として何を求め、何を以って適合との判断を下しているのでしょうか」といった質問をしてみました。その回答は、「根本原因である人為的要因の発生率が少しずつ低減され、安定していることです」というものでした。つまりこれは、査察で焦点になるのは、結果がベースになっており、教育関連の頑健なプロセスが構築されているかではないということです。
品質上の観点からみた傾向
ISO9000の旧バージョンでは、当初、教育ニーズの特定、教育の実施、記録の保管（適格性の一部として）に焦点が当てられていました。しかしながら、最新版では、力量及び教育の有効性に関する文言が追加されています。「6.2.2 力量、教育・訓練及び認識」では次のような記述があります。
組織は、次の事項を実施しなければならない：
- 製品要求事項への適合に影響がある仕事に従事する要員に必要な力量を明確にする。
- 該当する場合には、その必要な力量に到達することができるように教育・訓練を行うか、又は他の処置をとる。
- 実施した処置の有効性を評価する。
この文言は、規制当局と同様、ISO9000で注目すべき対象は、プロセスから成果へと移行していることを示唆しています。
過程から成果への移行
適切な担当者を対象に、妥当性のある教育が実行されていると示すプロセスや、文書化が整備されていることなどを証明するだけでは通用しません。こうした基本的な要件に翻弄されている企業も多いことかと思います。自身の業務や役割とは無関係な作業手順書（SOP）を読まなければならない状況に陥っている担当者に聞けば、きっとこの意見に賛同することでしょう。つまり、実施した教育に対する「有効性を定期的に評価」することが求められているのです。しかし、これは具体的には何を意味しているのでしょうか？
こうした規制上の要求事項をどのように解釈したらいいのか、役立つガイダンスがあれば良いのですが、残念ながら何もありません。定着しているカークパトリックの評価法を用いて、教育の有効性を測定することは可能です。カークパトリックの評価方法は優れたモデルですが、プロセスだけでなく成果においても整合性を確保することが求められる環境にどれだけ当てはまるでしょうか。施設レベル及び大規模な組織全体で教育を見渡し、「確かに整合性を確保しつつ、高い品質の教育を運用し、その結果として技能と適格性を有する人員を確保し、結果的に事業に対してより品質の高い成果（臨床データ、患者の安全性、医薬品など）を生み出しています」と言えるためにはどうすべきなのでしょうか？
何から手をつけたらいいかわからない方のために、教育の有効性評価へ簡単に適用できる方法をご紹介したいと思います。
教育の有効性への2段階アプローチ
教育の有効性の確保
組織は、教育の設計、開発、提供方法の最善策・事例における重点実施項目から教育の有効性を確保することが可能です。これはまさにQuality by Designアプローチであり、担当者が教育に参加するより前のタイミングで発生します。
- 方法は？
成人対象の学習や教育の設計、開発、提供におけるベストプラクティスを標準の教育方法論に組み込むことで、組織は「適切なタイミングで適切な人員に対し、適切な指導者による適切な教育を実施し、その結果として適切な成果を挙げる」といった目標を達成することが可能となります。
- どのようなもの？
Quality by Designアプローチの例を以下に示します。
*注：これはすべての教育プロセスの総合的な知見を示すものではありません。
教育の有効性の評価
組織は、教育完了後、教育の定期的なレビューを通じて、その有効性を評価することができます。
- 方法は？
定期的な評価は、個々の施設レベルで実施されることが多いのですが、複数の施設を有する大規模なグローバル組織を見越した密接な連携のもとで実施することもできます。教育の有効性の評価は、担当者が教育に参加した後に実施し、特定の定期的レビューに位置付けることができます。
- どのようなもの？
- 選ばれた教育に対し監査を実施
- レビュー結果を文書に記録
- 教育の有効性確保のための継続的改善
重要事項：最低限実施しなければならない評価の定義
定期的レビューの実施前に、特に組織の拠点が複数の場合には、必要最低限実施すべき評価項目を明確にしましょう。 例として、教育の有効性を評価する施設/場所/組織が、最低限採用している評価方法を以下に示します。
個人的には、このように必要最低限の評価を用いることで、教育の有効性の是非を実感できると思っていますが、より多くのデータを示すための評価方法は他にもあります（フォローアップ評価、担当者の技能証明、年1回行う達成度（パフォーマンス）の評価など）。注意点としては、やりすぎないということです。
選ばれた教育に対し監査を実施
評価法を定め定期的レビューを行う準備が整ったら、どの教育を評価すべきでしょうか。私は、監査のアプローチを推奨しています。監査のアプローチでは、定期的レビューの際に、多大な労力を費やすことなく教育の有効性について、極めて正確な判断をすることができるからです。定期的レビューで実施例を挙げてみましょう。
1． 有効性の評価に合理的と思われる教育のパーセンテージまたは最小値を決定します。教育は、各種を織り交ぜるよう（最低ハイリスクやハイインパクトトピック向けの講師主導型の教育を1つと自修型教育を1つ等）にしてください。脚注：* Read and Understand (AKA Read & Sign) “Training” is not considered a self-study.
2. 最低限の評価にて教育の有効性を評価する。「担当者の評価完了」に関する2番目の測定に移りましょう。アプローチの例は次の通りです。
1． 有効性の評価に合理的と思われる教育のパーセンテージまたは最小値を決定します。教育は、各種を織り交ぜるよう（最低ハイリスクやハイインパクトトピック向けの講師主導型の教育を1つと自修型教育を1つ等）にしてください。脚注：* Read and Understand (AKA Read & Sign) “Training” is not considered a self-study.
2. 最低限の評価にて教育の有効性を評価する。「担当者の評価完了」に関する2番目の測定に移りましょう。アプローチの例は次の通りです。
- 選択された教育別に全セッションを通じた参加者総数の25%（あるいは、各組織で適切な割合）に対し評価スコアを抽出する。
- 評価スコアをチェックする。
- 次の考察を行う
- チェックした担当者評価スコアの内、目標達成率について、達成期待値未満である割合は？この場合、組織のスコアから不適合状態であると考えられます。
- 25%以上か
- 特定の教育で不適合評価の割合が25%以上であれば、その理由を特定します。
- 根本原因分析を行い、施設内でどのように、誰が、いつまでに修正するかについて文書に記録します。
必ずしもこの手順に従って評価する必要はありません。1つの例ですが、この例では、教育の有効性の評価が、部分的ですが見えるようになります。次のステップでは、監査や教育の結果、その後のアクションを文書に記録し、これらを用いて継続的改善プロセスへ反映します。
成熟した教育管理が有効性には必要
現実的に、教育の有効性には教育管理の成熟度が考慮されます。「教育の有効性を確実にする」という記載で、標準的な教育の方法があると言ったことを覚えているでしょうか？方法は、完全なものである必要はありませんし、フレキシブルであって良いのですが、一貫性と基準の採用が要求されます(例、維持に関する基準 – 担当者に期待する読み込み、理解する手順書の数の制限、教育時間の制限)。組織は、教育プロセスの完成度を十分に高める必要があります。最善の方法に繋がるような完成度の高い教育機能が欠けているにも関わらず、なぜ、教育の定期評価の構築に多大な労力を費すのでしょうか？そこからは常に同じ結果、つまり非効果的な教育が導かれるしかないのです。
【結論】
事前に十分な時間を費やし、教育の設計、開発及び提供を行ってください。これにより担当者は成果を挙げてくるはずです。教育の有効性を最も良く示す方法として、逸脱の減少になります。
教育の有効性を確保するうえで、成果に基づいたアプローチが欠けていては、担当者の業務レベルは向上・改善されず、品質もまた同じ道筋を辿ることになるでしょう。
法規制に関する参照- GMP
オーストラリア
Therapeutic Good Administration (TGA) - Australian code of good manufacturing practice for human blood and blood components, human tissues and human cellular therapy products Section 208.
「継続的教育を行うこと。 実践的有効性を定期的に評価すること。」https://www.tga.gov.au/book/personnel-and-training
European Union
The Rules Governing Medicinal Products in the European Union
Volume 4 – EU Guidelines for Good Manufacturing Practice for Medicinal Products for Human and Veterinary Use, Chapter 2: Personnel
Section 2.11 Training
“GMPの理論及び実践に関する基本訓練以外に、新規雇用人員は彼らに割り当てられた職責に対し適切な訓練を受けること。継続的教育を実施しその実践的有効性を定期的に評価すること。教育プログラムが準備されており適宜製造部門の長または品質管理部門の長のいずれか一方が承認していること。訓練記録は保存しなければならない。」
European Medicines Agency – EMA（欧州医薬品庁）
COMMISSION DIRECTIVE 2003/94/EC, Article 7
Personnel
「人員は、特に品質保証及びGCPについて必要な場合は、治験中の医薬品の製造のための特定の要求事項に関し、その概念及び適用について、導入時または実施中教育を受けること、そして教育の有効性について検証すること。」
Health Canada（カナダ保健省）- GMP
C.02.06 Personnel
1. 「継続して行われる教育の有効性を定期的に評価すること。」
World Health Organization（世界保健機関）(WHO)
WHO – Annex 2 - WHO good manufacturing practices for pharmaceutical products: main principles
Section 10: Training
“10.2 GMPの理論および実践に関する基本訓練以外に新規雇用人員は割り当てられた職責に対し適切な訓練を受けること。継続的に訓練も実施し、実効性は定期的に評価されること。承認された教育プログラムが準備されていること。”
Holly Deiaco-Smithは、企業診断に関するコンサルティングを20年に渡って従事してきた経験により、クライアントの皆様がさらなる成功を実現させるために、改善の支援を行っています。Big 4でAccenture及びIBMグローバルサービスのコンサルティングを経験し、最善方法論、最先端の実践手法、クライアントコンサルティング業務に関する基礎を築きました。Holly女史は、教育的技術でMSを取得、Six Sigmaに精通し、 Myers-Briggs Type Indicators Steps I & II.の管理及び解釈の認定を受けています。
戦略的な計画、工程改善など、主に、最先端の実践手法、組織改革、大人を対象にした学習の設計・開発と行動変化管理などの経験を有しています。企業にとって、優秀な人材開発の必要性が必須となっている現在、クライアントの学習戦略における定義や改善の支援を行っています。
クライアントと共に共同で考えるユニークな手法と管理改善への注目度の高さによって、秀逸なサービスと結果を提供しています。お問い合わせは、610-871-2316 またはhjdeiaco-smith@hdsconsulting.comをご利用ください。HPアドレスwww.hdsconsulting.com
本投稿は、英語の文献を元に翻訳または抄訳及び校正を行っており、本サイトに掲載されている全ての情報や画像の著作権は、当社（マスターコントロール株式会社）に帰属します（他社提供のクレジット表記入り画像等を除く）。コンテンツの再発行及び再配布は、個人利用の場合を除き、当社より許可を得た場合のみ可能です。また、本ブログを含む当社のWebコンテンツを利用することで発生する損害やトラブルについて、当社は一切の責任を負いません。
0 件のコメント :
コメントを投稿