Sesuai perkembangan, kebutuhan, dan perannya nama Kantor Pelayanan Perbendaharaan Negara (KPPN) mengalami beberapa kali perubahan. Pada masa penjajahan Belanda dinamakan CKC (Central Kantor Comtabilited) dan Slank Kas. Setelah Proklamasi Kemerdekaan RI, antara tahun 1945-1947 Kas Negara dipegang langsung oleh bangsa Indonesia sendiri dan sejak itu nama CKC dan Slank Kas di-Indonesiakan, CKC menjadi KPPN (Kantor Pusat Perbendaharaan Negara), sedangkan Slank Kas menjadi KKN (Kantor Kas Negara). Pada saat itu, ditetapkan juga bahwa KPPN dan KKN tersebar di seluruh wilayah Indonesia, sehingga pada tahun 1951 Pemerintah Indonesia menetapkan bahwa di tiap-tiap karesidenan terdapat Kas Negara. Selanjutnya, pada tahun 1968 nama KPPN dan KKN digabung menjadi KBN (Kantor Bendahara Negara). Namun, pada tahun 1974, KBN dipecah kembali menjadi KPN (Kantor Perbendaharaan Negara) dan KKN (Kantor Kas Negara).

Seiring dengan perkembangan jaman  yang mengacu pada pola penyederhanaan organisasi maka  berdasarkan Surat Keputusan Menteri Keuangan RI Nomor 645/KMK.01/1989 tanggal 12 Juni 1989 dan Surat Edaran Direktur Jenderal Anggaran nomor : SE-1077/A/1989 tanggal 14 September  1989 tentang Organisasi dan Tata Kerja Instansi Vertikal Direktorat Jenderal Anggaran, sejak tanggal 1 April 1990 KPN dan KKN digabung menjadi KPKN (Kantor Perbendaharaan dan Kas Negara).  Dasar pertimbangan penggabungan ini diantaranya  adalah dalam rangka efisiensi dan mengurangi jalur birokrasi dalam pelayanan kepada masyarakat yang semula dilakukan oleh dua kantor yang berbeda menjadi hanya satu kantor, yang kita kenal dengan istilah SAMSAT (Sistem Administrasi Manunggal Satu Atap). Pertimbangan  lain  penggabungan institusi ini adalah berkurangnya beban kerja Kantor Perbendaharaan Negara (KPN) yang disebabkan oleh dialihkannya pembayaran pensiun  ke PT. Taspen dan Perum Asabri dan dialihkannya pembayaran secara tunai pada Kantor Kas Negara (KKN) menjadi pembayaran secara giral pada Bank-Bank Pemerintah yang ditunjuk.

Perubahan lain yang cukup mendasar adalah beralihnya peran KPKN selaku Ordonatur kepada Pengguna Anggaran/Kuasa Pengguna Anggaran. Peran ini cukup strategis yaitu melakukan pengujian atas permintaan pembayaran dari pihak-pihak yang memiliki hak tagih kepada negara. Peralihan ini dimaksudkan untuk meningkatkan akuntabilitas dan menjamin terselenggaranya saling uji antar instansi dalam pelaksanaan anggaran. Pada titik ini, KPKN yang menjalankan fungsi Kuasa Bendahara Umum di Daerah berubah menjadi KPPN (Kantor Pelayanan Perbendaharaan Negara).

Untuk memberikan pelayanan yang maksimal kepada stakeholder di wilayah kerja Provinsi DKI Jakarta, beban kerja dibagi ke dalam tujuh KPPN sesuai dengan Keputusan Direktur Jenderal Perbendaharaan nomor KEP-187/PB/2013 yaitu KPPN Jakarta I, KPPN Jakarta II, KPPN Jakarta III, KPPN Jakarta IV, KPPN Jakarta V, KPPN Jakarta VI, dan KPPN Jakarta VII.

Pada tahun 2004, untuk lebih meningkatkan pelayanan publik secara transparan dan akuntabel serta sebagai wujud dari pelaksanaan  reformasi birokrasi maka berdasarkan  Surat Keputusan Menteri Keuangan Nomor 302/KMK.01/2004 dan 203/KMK.01/2004 KPKN  Jakarta IV berubah  menjadi Kantor Pelayanan Perbendaharaan Negara (KPPN) Jakarta IV  tipe A.

Dalam rangka meningkatkan kinerja Kantor Vertikal di lingkungan Direktorat Jenderal Perbendaharaan, serta penyempurnaan terhadap organisasi dan tata kerja Kantor Wilayah dan Kantor Pelayanan Perbendaharaan Negara maka sesuai dengan Peraturan Menteri Keuangan nomor 101/PMK.01/2008 Kantor Pelayanan Perbendaharaan Negara Tipa A mengalami perubahan tipe termasuk KPPN Jakarta IV yang menjadi Tipe A1. Selanjutnya seiring berjalannya waktu dan untuk menciptakan Good Government  maka dibentuklah KPPN Percontohan pada tahun 2007 dan KPPN Jakarta IV menjadi KPPN Percontohan pada tahun 2008.

Terobosan untuk peningkatan layanan keuangan pada Kementerian Keuangan khususnya Direktorat Jenderal Perbendaharaan (DJPBN) bukan hanya pada penyempurnaan organisasi saja melainkan juga proses bisnis, serta optimalisasi IT dan pengelolaan SDM diarahkan ke tingkat global untuk dapat bersaing dengan lembaga pemerintah lainnya. Dan saat ini KPPN Jakarta IV menjadi salah satu KPPN yang menjalankan Roll Out SPAN (Sistem Perbendaharaan Anggaran Negara) berdasarkan Surat Direktur Jenderal Perbendaharaan Nomor S-9028/PB/2014 tanggal 24 Desember 2014, suatu sistem pelaksanaan perbendaharaan dan penganggaran yang terintegrasi dalam single database yang terpusat di Jakarta dengan pengaplikasian proses bisnisnya berbasis IT.