The problems of common criteria evaluation for hospital information management systems in Turkey

Abstract

Hospital information management systems (HIMS) are essential tool for hospitals not only for the management of the hospital but also for improving healthcare quality and efficiency. The developed countries set national and international standards for HIMS to improve quality. The Turkish Ministry of Health (MoH) initiated the Health Transformation Program in 2003 and as a part of this program set many standards for HIMS vendors in Turkey [1]. Among those standards, all HIMS vendors are expected to apply for Common Criteria (CC) certification process before the 1st of January, 2020 [2]. The CC is an ISO standard (ISO 15408) used for software, hardware, or firmware products to certify their security measures and specifications [3]. This study is proposing to evaluate the capability and readiness of HIMS vendors in Turkey for CC EAL2 test approach. The HIMS products conducted in this study is used by more than 100 hospitals some of which have JCI and HIMSS EMRAM Stage 6 certificates. Additionally, this HIMS is accredited by MoH as all other active HIMS used in public and private hospitals in Turkey. As a method, standard and well-defined CC EAL2 test approach are used, as required by MoH. During the study, CC approach is criticized and modified to be more appropriate for HIMS. The result of this thesis showed that HIMS products in Turkey have some common obstacles for obtaining CC certificate. Although some obstacles can be solved by HIMS vendors in time, such as vulnerability risks, lack of awareness about requirements of CC, and using client-server architecture (by some HIMS vendors) instead of web-based architectures, the main obstacle seems cannot be solved by HIMS vendors, which is the high-frequency software updates triggered by many stakeholders, such as hospitals, MoH, social security institution, etc.. As another result of this study, a novel CC approach is proposed to decrease the processing time and increase the evaluation efficiency. On the other hand, since CC EAL2 is not a extensive enough evaluation for HIMS product, so, it is proposed that the evaluation level should be at least CC EAL4.Hastane Bilgi Yönetim Sistemleri (HBYS) hastaneler için sadece yönetim açısından değil, sağlık hizmeti kalitesi ve verimliliği açısından da çok önemli ve gerekli araçtır. Gelişmiş ülkeler HBYS'lerin kalitesini iyileştirmek için ulusal ve uluslararası standartları belirlemiştir. Türkiye Cumhuriyeti Sağlık Bakanlığı, 2003 yılında Sağlıkta Dönüşüm Programını başlatmış ve bu programın bir parçası olarak Türkiye'deki HBYS satıcıları için bir dizi standart belirlemiştir [1]. Bu standartlar arasında, tüm HBYS satıcılarının 1 Ocak 2020'den önce Ortak Kriterler sertifikalandırma sürecine başvurmaları beklenmektedir [2]. Ortak Kriterler, güvenlik önlemlerini ve özelliklerini belgelendirmek için yazılım, donanım veya aygıt yazılımı ürünleri için kullanılan bir ISO standardıdır (ISO 15408) [3]. Bu tezin sonucu, Türkiye'deki HBYS tedarikçilerinin Ortak Kriterler EAL2 seviyesinde kapasitelerini ve değerlendirmeye ne kadar hazır olduklarını göstermektedir. Bu çalışmada kullanılan HBYS ürünleri, bazıları Uluslararası Ortak Komisyon ve HBYS Elektronik Tıbbi Kayıt Uyum Modeli 6. Seviye sertifikalarına sahip 100'den fazla hastane tarafından kullanılmaktadır. Ek olarak, seçilen HBYS, Türkiye'de kamu ve özel hastanelerde kullanılan diğer bütün aktif HBYS'ler gibi Sağlık Bakanlığı tarafından akreditedir. Yöntem olarak, Sağlık Bakanlığının zorunluluk belirttiği, ISO standardı olan Ortak Kriterler Değerlendirmesi EAL2 (Değerlendirme Seviyesi 2) test yaklaşımı kullanıldı. Bu çalışma sırasında, CC yaklaşımı eleştirildi ve HBYS'ler için daha uygun hale getirildi. Bu çalışmanın sonucu, Türkiye'deki HIMS ürünlerinin, CC sertifikası almak için bazı ortak engelleri olduğunu göstermiştir. Açıklık riskleri, ortak kriterler gerekliliklerinin farklındalığı hakkındaki eksiklik ve web tabanlı mimari yerine istemci-sunucu mimarisinin kullanılması (bazı HBYS firmları için) gibi zamanla HBYS satıcıları tarafından bazı engeller çözülebilse bile, asıl engeller Hastaneler, Sağlık Bakanlığı, Sosyal Güvenlik Kurumu, HBYS müşterileri, vb.. tarafından sıklıkla yazılım güncellemelerin HBYS satıcıları tarafından çözülmemesidir. Bu çalışmanın başka bir sonucu olarak işlem süresini azaltmak ve değerlendirme verimliliğini arttıran yenilikçi bir CC yaklaşımı önerildi. Bunun yanı sıra, EAL 2 değerlendirmesi HBYS ürünleri için yeteri kadar kapsamlı bir değerlendirme olmadığından, değerlendirme seviyesinin en az CC EAL4 olması gerektiği önerilmiştir.