Ketersediaan data kesehatan Indonesia secara kuantitas saat ini sudah cukup baik, hal ini tercermin dari ketersediaan profil kesehatan nasional, provinsi dan kabupaten/kota yang sudah melebihi 80%. Akan tetapi, walaupun secara kuantitas data kesehatan Indonesia sudah cukup baik, namun secara kualitas masih dipertanyakan.

 

Pentingnya Peningkatan Kualitas Data Kesehatan

Pada tahun 2007 Kementerian Kesehatan (Depkes) cq Pusdatin bekerjasama dengan Health Metrics Network (HMN) telah melakukan penilaian (Assesment) terhadap Sistem Informasi Kesehatan (SIK) di Indonesia. Penilaian dilakukan terhadap beberapa komponen SIK, dengan hasil yang menunjukkan “tidak adekuat” untuk komponen: sumber daya (47%), indikator (61%), sumber data (51%), kualitas data (55%), penggunaan dan diseminasi data (57%) serta  “tidak adekuat sama sekali” untuk komponen manajemen data (35%). Berdasarkan hasil assessment tsb, kualitas data masuk dalam kategori tidak adekuat atau bermasalah, oleh karena itu penting untuk melakukan upaya meningkatkan dan memperkuat kualitas data kesehatan Indonesia.

 

Sedemikian pentingkah tuntutan akan tingginya kualitas data kesehatan kita?

Data yang banyak saja tidak cukup apabila data tersebut rendah kualitasnya. Bila data berkualitas rendah, bagaimana kita bisa memutuskan/membuat kebijakan intervensi program-program kesehatan dengan benar kalau dasar untuk membuat keputusan tersebut yaitu data yang tersedia ternyata diragukan kebenarannya karena kualitasnya rendah, tidak valid dan tidak akurat? Data yang tidak akurat bila dipakai sebagai dasar pembuatan keputusan, tentu dapat menyesatkan karena keputusan yang dibuat bisa jadi merupakan keputusan yang keliru. Oleh karena itu, upaya penguatan kualitas data menjadi hal penting dan strategis karena akan mempengaruhi kualitas komponen lain dalam sistem informasi kesehatan.

 

Penilaian Mandiri Kualitas Data Rutin (PMDKR)

Pada tahun 2012 Kementerian Kesehatan cq Pusdatin bekerjasama dengan Fakultas Kesehatan Masyarakat Universitas Indonesia (FKM UI) telah mengembangkan metode Penilaian Mandiri Kualitas Data Rutin (PMDKR) yang diadopsi dari Instrumen Data Quality Self Assessment (DQS) yang dikembangkan oleh Badan Kesehatan Dunia (WHO). PMKDR sudah dilatihkan kepada petugas pengolah data kesehatan di tingkat pusat pada beberapa program terpilih, 33 provinsi, dan kabupaten di daerah intervensi Global Fund for Health Systems Strengthening (GF HSS), serta 9 provinsi di luar intervensi GF HSS.

 

PMKDR adalah seperangkat metode untuk menilai kualitas data rutin secara mandiri. Metode penilaian ini dapat digunakan di setiap jenjang administrasi (Pusat, Provinsi, dan Kabupaten/Kota). pelaksanaan di lapangan, penilaian kualitas data dilakukan terintegrasi dalam kegiatan pemantauan dan evaluasi (monev) di tingkat pusat, provinsi, dan kabupaten/kota. Pelaksananya adalah tenaga pengolah data kesehatan atau Sistem Informasi Kesehatan (SIK) dan pengelola program (misal program pengendalian penyakit menular, imunisasi, gizi dan KIA).

 

Komponen PMKDR

Komponen PMKDR meliputi: kelengkapan dan ketepatan waktu pelaporan, keakuratan, konsistensi, dan  kualitas komponen sistem pemantauan dan evaluasi program. Tujuan akhir PMKDR adalah terintegrasinya kegiatan PMKDR dengan sistem informasi kesehatan nasional/daerah dalam upaya meningkatkan kualitas data rutin.

 

Manfaat PMKDR

Kualitas data merupakan kebutuhan mendasar agar data dapat menjadi landasan bukti/fakta yang dapat dimanfaatkan untuk mendukung sistem pemantauan dan evaluasi (monev), perencanaan dan pengambilan kebijakan. PMKDR secara khusus bermanfaat untuk memfasilitasi ketersediaan:

  1. Data kesehatan yang valid dan akurat.
  2. Informasi yang valid untuk melakukan perencanaan dan intervensi program kesehatan.
  3. Peningkatan sistem informasi kesehatan.
  4. Data statistik untuk berbagai keperluan.

 

Tujuan PMKDR

Tujuan Umum PMKDR adalah:

  • Menilai kualitas data rutin.
  • Meningkatkan kualitas data kesehatan.

Tujuan Khusus PMKDR adalah:

  1. Meningkatkan kemampuan dan kompetensi petugas dalam penilaian kualitas data kesehatan.
  2. Menerapkan penilaian kualitas data rutin melalui telaah laporan rutin, verifikasi data, dan penilaian sistem monev.
  3. Meningkatkan akurasi dan kelengkapan data program kesehatan melalui mekanisme umpan balik (feed back) untuk keperluan tindak lanjut/intervensi di setiap jenjang administrasi.

 

Pengguna PMKDR

Pengguna PMKDR meliputi para pengambil kebijakan, stakesholders, pengelola program, pelaksana penilai kualitas data menggunakan Aplikasi (tool) PMKDR, para peneliti dan akademisi. Target utama pengguna PMKDR adalah Pengelola Program (programmer) kesehatan dan tenaga SIK di setiap jenjang administrasi, misalnya dinas kesehatan kabupaten/kota, dinas kesehatan provinsi dan pusat. Semua Program Kesehatan yang memiliki data rutin bulanan atau triwulanan dapat mengaplikasi metode PMKDR.

 

Kapan Dilaksanakan PMKDR?

PMKDR bukan kegiatan insidentil tetapi harus dilakukan terus-menerus (berkesinambungan), bersamaan atau terpisah dengan kegiatan monev. Setelah kualitas data dinilai maka harus dibuat umpan balik dan rencana tindak lanjut sesuai hasil penilaian.

 

Metode PMKDR

Ada 3 metode yang dipakai dalam penilaian mandiri kualitas data rutin, yaitu: 1) Telaah Laporan; 2) Verifikasi Data; 3) Penilaian sistem pemantauan dan evaluasi. Ketiga metode tersebut idealnya harus dilaksanakan secara berurutan.

 

1. Penilaian Mandiri Kualitas Data Melalui Telaah Laporan Rutin

Penilaian Mandiri Kualitasdata melalui telaah laporan adalah suatu proses dan mekanisme untuk memantau dan menilai 3 komponen kualitas data dari laporan rutin yang diterima dari jenjang di bawahnya. Penilaian Mandiri Kualitasdata melalui telaah laporan rutin dilakukan di atas meja (desk review) atau di kelas, tidak perlu meninjau ke lapangan. Yang melakukan telaah laporan adalah Staf/petugas program kesehatan dan petugas SIK.

 

Ada 3 komponen data yang ditelaah pada desk review yaitu:

           a. Kelengkapan data

           b. Akurasi data

           c. Konsistensi data

 

a. Kelengkapan Data

Kelengkapan data adalah seberapa lengkap data dilaporkan oleh semua unit atau fasilitas yang seharusnya melapor sesuai periode waktu pelaporan (bulanan atau triwulan). Oleh karena itu kelengkapan data memiliki 2 indikator yaitu: kelengkapan laporan dan ketepatan waktu pelaporan.

 

Laporan/data disebut lengkap bila dikirim oleh semua unit atau fasilitas yang seharusnya melapor. Laporan disebut tepat waktu bila dikirim tepat waktu sesuai periode pelaporan yang disepakati (bulanan atau triwulanan). Definisi tepat waktu mengacu pada standar yang berlaku di Indonesia yaitu: laporan bulanan sudah diterima oleh jenjang di atasnya paling lambat tanggal 5 bulan berikutnya dari puskesmas, 10 bulan berikutnya dari kabupaten/kota, dan tanggal 15 bulan berikutnya dari provinsi.

 

Ketentuan waktu pengiriman laporan triwulan sbb:

  • Laporan Triwulan I sudah diterima oleh jenjang di atasnya paling lambat tanggal 5 April dari puskesmas, 10 April dari kabupaten/kota, dan 15 April dari provinsi.
  • Laporan Triwulan II sudah diterima oleh jenjang di atasnya paling lambat tanggal 5 Juli oleh puskesmas, 10 Juli dari kabupaten/kota, dan 15 Juli dari provinsi.
  • Laporan Triwulan III sudah diterima oleh jenjang di atasnya paling lambat tanggal 5 Oktober dari puskesmas, 10 Oktober dari kabupaten/kota, dan 15 Oktober dari provinsi.
  • Laporan Triwulan IV sudah diterima oleh jenjang di atasnya paling lambat tanggal 5 Januari tahun berikutnya dari puskesmas, 10 Januari tahun berikutnya dari kabupaten/kota, dan 15 Januari tahun berikutnya dari provinsi.

 

Rumus kelengkapan pelaporan = (jumlah unit yang melapor dibagi jumlah unit yang seharusnya melapor) X 100%.

Yang diinilai adalah data per indikator bukan per program.

Kelengkapan data disebut baik bila >80% unit atau fasilitas yang melapor.

 

Rumus ketepatan waktu pelaporan = (jumlah laporan tepat waktu dibagi jumlah bulan atau triwulan seluruh laporan yang seharusnya dilaporkan tepat waktu) X 100%

Ketepatan waktu disebut baik baik bila >80% laporan tepat waktu.

 

Gambar 1: Contoh grafik hasil penilaian kelengkapan dan ketepatan waktu pelaporan.

 

b. Akurasi Data

Akurasi data adalah seberapa akurat data yang dilaporkan terhadap angka sebenarnya atau yang dianggap benar. Untuk menilai keakuratan data, indikator yang dipakai adalah ada atau tidak adanya data pencilan.

 

Data pencilan
definisi data pencilan adalah: data yang dilaporkan sangat jauh berbeda dibandingkan dengan nilai rata-rata setelah dikeluarkan nilai nol dan data yang hilang. Singkatnya, data pencilan adalah suatu data yang lain sendiri atau terpencil dari komunitasnya, misalnya: dari 10 kabupaten, ada 1 kabupaten yang melaporkan sangat jauh berbeda (cakupannya sangat tinggi atau sangat rendah dibandingkan kabupaten lain di wilayah/provinsi itu.)

Aturan mainnya:

  • Bila data pencilan melebihi + 2 standar deviasi (SD) maka dapat dikatakan kualitas data kurang baik.
  • Bila data pencilan melebihi + 3 standar deviasi (SD) maka dapat dikatakan kualitas data tidak baik.

 

Hati-hati:
Perhatian apabila ada data pencilan: bila kita tidak memahami permasalahan di lapangan maka bisa terjadi salah interpretasi, misal: adanya data pencilan karena terjadi KLB, adanya penyakit yang dipengaruhi oleh musim, dan program kesehatan tidak berjalan optimal sehingga cakupan drop. Untuk memastikan penyebab adanya data pencilan maka perlu dilakukan verifikasi data dengan cara meninjau langsung ke sumber data dan menelusuri/mencari dimana letak permasalahannya. 

 

c. Konsistensi Data

Konsistensi data adalah seberapa konsisten/sesuai data yang dilaporkan dibandingkan dengan indikator atau variabel lainnya atau data yang dinilai dibandingkan dengan data hasil survei. Ada 2 jenis konsistensi yaitu:

 

1. Konsistensi internal yaitu: adanya kekonsistenan data dibandingkan dengan data lain pada program yang sama. Pada kondisi normal, data tidak jauh berubah dan tidak ada data pencilan dari waktu ke waktu. Konsistensi internal terdiri dari 2 indikator yaitu: 1) Konsistensi cakupan dari tahun ke tahun, dan 2) Konsistensi antar indikator.

1) Konsistensi cakupan dari tahun ke tahun

Definisi konsistensi cakupan dari tahun ke tahun: angka cakupan tidak mengalami perubahan sangat tajam dari tahun ke tahun. Bila ada peningkatan atau penurunan tajam dibandingkan 3 tahun terakhir maka dikatakan kualitas datanya tidak baik karena tidak konsisten. Perhitungannya: angka cakupan tahun ini dibagi dengan rata-rata cakupan selama 3 tahun sebelumnya (dalam rasio).

 

Penilaian:

Bila rasio-nya 1: bagus.

Dapat dikatakan kualitasnya baik bila selisih rasio tidak lebih dari 33% dari rata-rata cakupan 3 tahun sebelumnya, atau rasionya berkisar antara 0,67 sampai 1,33. Bila rasionya kurang dari 0,67 atau lebih dari 1,33 disebut tidak konsisten.

 

2) Konsistensi antar indikator

Definisi konsistensi antar indikator: kesesuaian suatu indikator dengan indikator lainnya. Yang dibandingkan adalah konsistensi antar indikator atau variabel sasaran yang sama pada tahapan/sekuens waktu yang berbeda, misal: jumlah (absolut) ibu hamil yang mendapatkan pelayanan K1 dibandingkan dengan jumlah (absolut) ibu hamil yang mendapatkan pelayanan K4; jumlah (absolut) bayi yang mendapatkan pelayanan KN1 dibandingkan dengan jumlah (absolut) bayi yang mendapatkan pelayanan KN lengkap; jumlah (absolut) bayi yang mendapatkan imunisasi DPT 1 dibandingkan dengan jumlah (absolut) bayi yang mendapatkan imunisasi DPT3.

 

Penilaian: dapat dikatakan kualitas data baik bila selisih rasio tidak lebih dari 33% dari rasio rata-rata di wilayah tersebut.

 

 

Gambar 2: Contoh grafik hasil penilaian akurasi dan konsistensi internal.

 

2. Konsistensi eksternal yaitu: seberapa sesuai data sasaran program dibandingkan dengan sasaran proyeksi dan seberapa sesuai data cakupan program dibandingkan dengan data cakupan hasil survei. Jadi konsistensi eksternal terdiri dari 2 indikator: 1) Konsistensi data jumlah sasaran program dibandingkan data jumlah sasaran sesuai proyeksi yang berlaku. 2) Konsistensi cakupan data rutin dibandingkan data cakupan hasil survei.

Bila data sasaran sudah memakai data proyeksi (BPS, Pusdatin) maka tidak perlu dinilai. Dan bila data hasil survei tidak tersedia maka tidak perlu dinilai.

Penilaian: dikatakan data tidak konsisten bila data sasaran program yang dipakai jauh berbeda dari data proyeksi yaitu > 33%. Untuk Puskesmas dihitung oleh kabupaten, untuk kabupaten, dihitung oleh provinsi, dst.

Penilaian: kualitas data dikatakan baik bila ada kesesuaian antara jumlah absolut sasaran program dan jumlah absolut angka proyeksi BPS atau Pusdatin yaitu perbedaannya kurang dari 33%. Juga bila ada kesesuaian antar angka cakupan program dari laporan rutin dan angka cakupan progam dari hasil survei yaitu perbedaannya kurang dari 33%.

Data yang diluar kewajaran harus diverifikasi untuk mengetahui kejadian sebenarnya di lapangan. Bila unit yang perlu diverifikasi ada banyak, maka bisa dipilih beberapa diantaranya.

Sifat telaah laporan sebenarnya condong kearah subyektif menurut kapasitas si penilai. Oleh karena itu telaah laporan dipakai hanya sebagai saringan awal. Untuk memastikan kualitas data, petugas penilai perlu turun ke lapangan untuk menilai (memverifikasi data) secara langsung. Petugas pusat mendatangi dinas Kesehatan provinsi, petugas provinsi mendatangi dinas kesehatan kabupaten/kota dan petugas kabupaten/kota mendatangi puskesmas atau rumah sakit. Pada saat yang bersamaan dilakukan juga penilaian sistem informasi dan evaluasi (monev).

 

2. Penilaian Mandiri Kualitas Data Melalui Verifikasi Data

Metode Verifikasi data merupakan mekanisme untuk mengetahui keakuratan data dan untuk memastikan baik tidaknya kualitas data. Dasarnya adalah: penilaian kualitas data melalui telaah laporan bisa terjadi kesalahan, oleh karena itu perlu dilakukan verifikasi data. Verifikasi dilakukan dengan melihat data secara langsung ke sumber data yaitu fasilitas pelayanan kesehatan yang membuat pelaporan, kemudian menghitung ulang data tersebut. Hitunglah rasio akurasi antara jumlah hasil hitung ulang data yang masuk dari sumber data dengan data yang dilaporkan ke jenjang yang lebih tinggi.

 

Pemilihan Unit yang akan diverifikasi

Idealnya semua unit seharusnya diverifikasi tapi bila sumber daya (dana dan tenaga) terbatas, maka pemilihan unit yang akan diverifikasi dilakukan secara acak. Pemilihan unit yang perlu diverifikasi diprioritaskan pada wilayah dengan data pencilan berdasarkan hasil telaah laporan rutin, yaitu:

1. Memilih secara acak sejumlah 3-6 dari total unit (puskesmas, kab/kota atau provinsi) yang ada,

    atau

2. Memilih secara acak sejumlah 3-6 unit dari hasil telaah laporan (desk review) yang dikelompokkan menurut katagori baik & kurang (dari kategori 'baik' dipilih 3-6 unit dan dari kategori 'kurang' dipilih 3-6 unit).

Catatan:
Jika unit yang masuk dalam salah satu kategori (baik atau kurang) berjumlah kurang atau sama dengan 3, maka semua unit diverifikasi datanya

Cara melakukan Verifikasi Data

Penilaian kualitas data dengan PMKDR menganut penilaian 1 level di bawahnya, yaitu:

  1. Pemeriksaan keakuratan data di provinsi dilakukan oleh petugas pusat
  2. Pemeriksaan keakuratan data di kabupaten/kota dilakukan oleh petugas provinsi
  3. Pemeriksaan keakuratan data di puskesmas atau rumah sakit dilakukan oleh petugas kabupaten/kota

Persiapan sebelum melakukan verifikasi:

Sebelum melakukan verifikasi, petugas harus mengetahui indikator, definisi operasional (DO) data yang akan diverifikasi, alur/aliran data mulai dari sumbernya dan menentukan tahun penilaian.

 

Apa yang dilakukan pada kegiatan verifikasi data?

Lakukanlah hitung ulang data cakupan yang masuk ke unit yang diverifikasi dari unit di bawahnya (sumber data). Misal: petugas pusat yang memverifikasi provinsi akan mendatangi provinsi. Data yang dilaporkan oleh provinsi ke pusat akan dibawa oleh petugas pusat ke provinsi kemudian dibandingkan dengan data cakupan yang masuk dari kabupaten/kota ke provinsi. Pemeriksaan keakuratan data di kabupaten/Kota dilakukan oleh petugas provinsi, dengan cara membandingkan data cakupan yang dilaporkan oleh kabupaten ke provinsi dengan data cakupan yang masuk ke kabupaten dari puskesmas/rumah sakit. Demikian pula halnya pemeriksaan keakuratan data di puskesmas/rumah sakit dilakukan oleh petugas kabupaten/kota dengan cara membandingkan data cakupan yang dilaporkan oleh puskesmas/rumah sakit ke kabupaten/kota dengan data cakupan yang berasal dari buku register puskesmas, buku pelayanan dalam gedung, dan laporan swasta. Dari hasil perbandingan tersebut dihasilkan rasio akurasi.

 

Akurasi Rasio

Verifikasi data bertujuan untuk melakukan cross check data secara cepat, sehingga dapat diketahui akurasi data yang dilaporkan.  Pengukuran akurasi adalah pengukuran untuk menghitung seberapa dekat nilai hasil pengukuran dengan nilai sebenarnya (true value) atau nilai yang dianggap benar (accepted value). Tiga kemungkinan yang didapat sebagai hasil verifikasi, yaitu:

  1. Akurat:  Jika hasil verifikasi data sama dengan  data yang dilaporkan atau tidak lebih dari 15%, dengan rasio akurasi antara 0,85 sampai 1,15.
  2. Over-reporting: Jika hasil verifikasi data lebih kecil  15% dari yang dilaporkan, dengan rasio akurasi < 0,85.
  3. Under-reporting: Jika hasil verifikasi data lebih besar 15% dari yang dilaporkan, dengan rasio akurasi > 1,15.

Pemanfaatan Rasio Akurasi

Rasio Akurasi dapat dimanfaatkan untuk melakukan koreksi data atau memperkirakan data yang sebenarnya (true value), dengan cara mengalikan rasio akurasi dengan data yang diverifikasi.

True value = Rasio akurasi x Data yang diverifikasi/diragukan.

Contoh:

Dari hasil verifikasi data imunisasi DPT+HB (3) didapat rasio akurasi sebesar 0,8 atau 80% (berarti over reporting karena kurang dari 85%), sedangkan data yang kita verifikasi (yang diragukan), cakupan DPT+HB (3) sebesar 90%, maka data yang sebenarnya (true value, dianggap benar) adalah: 80% x 90% = 72%.

 

Gambar 3: Contoh grafik hasil penilaian akurasi melalui verifikasi data.

 

3. Penilaian Mandiri Kualitas Data Melalui Penilaian Sistem Monitoring dan Evaluasi (Monev)

Penilaian kualitas sistem monitoring/pemantauan dan evaluasi merupakan suatu proses untuk menilai beberapa komponen dalam sistem pemantauan dan evaluasi melalui kunjungan lapangan dan observasi. Metode ini dilakukan dengan cara menilai masing-masing dimensi pada sistem tersebut, dengan fokus pada dimensi input, proses, dan output. Dimensi-dimensi tersebut kemudian diterjemahkan ke dalam beberapa pertanyaan dan komponen observasi. Penilai melakukan wawancara mendalam (deep probing) melalui kegiatan Focus Group Discussion (FGD) terhadap petugas dan pengelola SIK di suatu institusi, misal: Kementerian Kesehatan, Dinas Kesehatan dan Puskesmas.

 

Komponen Observasi

Ada 6 komponen observasi yang dinilai pada penilaian sistem pemantauan dan evaluasi, yaitu:

  1. Pengukuran struktur, fungsi dan kapasitas dalam sistem monev
  2. Pengukuran ketersediaan indikator dan pedoman pelaporan program
  3. Pengukuran pengumpulan data dan ketersediaan formulir pelaporan data rutin indikator program
  4. Pengukuran sistem pengolahan dan analisis data
  5. Pengukuran pemanfaatan data dan informasi
  6. Pengukuran Kelengkapan laporan dan ketepatan waktu pelaporan

 

Hasil penilaian sistem monev diinput kedalam aplikasi PMKDR dan menghasilkan grafik jaring laba-laba yang mudah terlihat per komponen.

 

Gambar 4: Contoh grafik berbentuk jaring laba-laba, hasil penilaian sistem monev di suatu institusi.

 

Sumber

  1. Pusdatin, Kementerian Kesehatan RI,  2012, "Draft Petunjuk Teknis Penilaian Mandiri Kualitas Data Rutin (PMKDR) Sistem Informasi Kesehatan."
  2. Pusdatin, Kementerian Kesehatan RI,  2012, "Draft Modul TOT Penilaian Mandiri Kualitas Data Rutin (PMKDR) Sistem Informasi Kesehatan."

Add comment


Security code
Refresh