Kantor Pelayanan Perbendaharan Negara Jakarta II (KPPN Jakarta II) merupakan salah satu unit vertikal dan ujung tombak Direktorat Jenderal Perbendaharaan yang mempunyai tugas pokok dan fungsi dalam proses penatausahaan APBN. KPPN Jakarta II berdiri sejak tahun 1971 dan telah berganti beberapa nama mengikuti dinamika organisasi. Perubahan nomenklatur menjadi nama yang sekarang ini seiring dengan terjadinya reorganisasi di tubuh Kementerian Keuangan, sebagai bagian dari implementasi reformasi manajemen keuangan untuk mendukung program besar pemerintah dalam penerapan tata kelola pemerintah yang baik( good and clean governance), yang juga sejalan dengan amanat Undang-undang Nomor 17 Tahun 2003 dan Undang-undang Nomor 1 Tahun 2004.
Dalam rangka mewujudkan tatakelola pemerintahan yang baik (good governance), pimpinan Kementerian Keuangan bertekad untuk membentuk suatu kantor pelayanan dilingkungan Direktorat Jenderal Perbendaharaan yang dapat memberikan peningkatan layanan yang lebih cepat, akurat, tanpa biaya serta penyelesaiannya dilakukan secara transparan (zero defect). Pembentukan kantor pelayanan percontohan telah direalisasikan disetiap wilayah propinsi di Indonesia oleh Direktorat Jenderal Perbendaharaan yaitu dengan mengubah setiap Kantor Perbendaharaan Negara (KPPN) yang berkedudukan di propinsi menjadi KPPN Percontohan. Perubahan tersebut diharapkan dapat memberi contoh kepada KPPN-KPPN lain untuk dapat mengikuti Standard Operating Prosedures KPPN Percontohan.
Berdasarkan Keputusan Direktur Jenderal Perbendaharaan No KEP-172/PB/2007 tanggal 26 Juli 2007 KPPN Jakarta II merupakan KPPN Percontohan yang telah dimulai operasionalisasi pada tanggal 30 Juli 2007 bersama-sama dengan 18 (delapan belas) KPPN Percontohan lainnya, yaitu KPPN Medan II, Palembang, Jakarta.I, Bandung II, Semarang.II, Yogyakarta., Surabaya II, Pontianak, Banjarmasin, Denpasar, Mataram, Kupang, Makasar II, Gorontalo, Manado, Ambon, dan Jayapura.
Dengan diresmikannya KPPN Jakarta II menjadi KPPN Percontohan diharapkan dapat meningkatkan pelayanan terhadap proses pencairan dana APBN, menjadi lebih cepat, tepat, akurat, dantransparan serta tanpa adanya pungutan biaya. Dengan demikian opini publik yang selama ini masih melekat yaitu berbelit-belitnya proses pencairan dana melalui KPPN, tidak transparan, tidak konsisten bahkan adanya pungutan tidak resmi dapat dihilangkan dan berubah menjadi KPPN yang selalu melayani publik dengan baik bebas dari Kolusi Korupsi dan Nepotisme.
Dalam rangka meningkatkan kinerja Kantor Vertikal di lingkungan Direktorat Jenderal Perbendaharaan, serta penyempurnaan terhadap organisasi dan tata kerja Kantor Wilayah dan Kantor Pelayanan Perbendaharaan Negara maka sesuai dengan Peraturan Menteri Keuangan nomor 101/PMK.01/2008 Kantor Pelayanan Perbendaharaan Negara Tipa A mengalami perubahan tipe termasuk KPPN Jakarta II yang menjadi Tipe A1.
KPPN Jakarta II adalah KPPN Tipe A1 yang merupakan instansi vertikal dibawah Kantor Wilayah Ditjen Perbendaharaan Provinsi DKI Jakarta. Berdasarkan Peraturan Menteri Keuangan nomor 169/PMK.01/2012 tentang Organisasi dan Tata Kerja Instansi Vertikal Ditjen Perbendaharaan, KPPN Tipe A1 mempunyai tugas melaksanakan kewenangan perbendaharaan dan bendahara umum negara, penyaluran pembiayaan atas beban anggaran, serta penatausahaan penerimaan dan pengeluaran anggaran melalui dan dari kas negara berdasarkan peraturan perundang-undangan.
Perkembangan yang terjadi pada Kementerian Keuangan khususnya Direktorat Jenderal Perbendaharaan (DJPb) bukan hanya pada penyempurnaan organisasi saja melainkan juga proses bisnis, serta optimalisasi IT dan pengelolaan SDM diarahkan ke tingkat global untuk dapat bersaing dengan lembaga pemerintah lainnya. Dan saat ini KPPN Jakarta II menjadi salah satu KPPN yang menjalankan Roll Out SPAN (Sistem Perbendaharaan Anggaran Negara) berdasarkan Surat Direktur Jenderal Perbendaharaan Nomor S-9028/PB/2014 tanggal 24 Desember 2014, suatu sistem pelaksanaan perbendaharaan dan penganggaran yang terintegrasi dalam single database yang terpusat di Jakarta dengan pengaplikasian proses bisnisnya berbasis IT.