1. Pembentukan Awal (1971)

KPPN Jakarta II berdiri sejak tahun 1971 sebagai salah satu unit vertikal dan ujung tombak dari Direktorat Jenderal Perbendaharaan (DJPb) Kementerian Keuangan. Sejak awal berdiri, KPPN Jakarta II menjalankan tugas pokok dan fungsi sebagai penatausahaan Anggaran Pendapatan dan Belanja Negara (APBN).

2. Perubahan Nomenklatur (2004)

Nama dan bentuk organisasi KPPN Jakarta II mengalami beberapa kali perubahan seiring dinamika dinamika organisasi. Berdasarkan Keputusan Menteri Keuangan (KMK) No. 303/KMK.01/2004, perubahan nama dari Kantor Pelayanan Kekayaan Negara (KPKN) menjadi KPPN terjadi seiring dengan reorganisasi di tubuh Kementerian Keuangan sebagai bagian dari implementasi reformasi manajemen keuangan untuk mendukung program besar pemerintah dalam penerapan tata kelola pemerintah yang baik (good and clean governance) sebagaimana juga diamanatkan Undang-undang Nomor 17 Tahun 2003 dan Undang-undang Nomor 1 Tahun 2004.

3. Pembentukan KPPN Percontohan (2007)

Dalam rangka mewujudkan good governance, Kementerian Keuangan mencanangkan pembentukan kantor pelayanan percontohan di setiap provinsi. Kantor ini ditujukan untuk memberikan layanan yang lebih cepat, akurat, transparan (zero defect), dan bebas biaya. Berdasarkan Keputusan Direktur Jenderal Perbendaharaan Nomor KEP-172/PB/2007 tanggal 26 Juli 2007, KPPN Jakarta II ditetapkan sebagai salah satu dari 18 KPPN Percontohan di seluruh Indonesia. KPPN Percontohan lainnya antara lain:

1. KPPN Medan II
2. KPPN Palembang
3. KPPN Jakarta I
4. KPPN Bandung II
5. KPPN Semarang II
6. KPPN Yogyakarta
7. KPPN Surabaya II
8. KPPN Pontianak
9. KPPN Banjarmasin
10. KPPN Denpasar
11. KPPN Mataram
12. KPPN Kupang
13. KPPN Makassar II
14. KPPN Gorontalo
15. KPPN Manado
16. KPPN Ambon
17. KPPN Jayapura

Dengan status KPPN Percontohan, KPPN Jakarta II diharapkan menjadi contoh penerapan Standar Operasional Prosedur (SOP) pelayanan perbendaharaan yang cepat, tepat, akurat, transparan, dan bebas pungutan biaya.

4. Perubahan Tipe KPPN (2008)

Konsep KPPN Percontohan tidak ada lagi karena semua KPPN telah mencapai standar pelayanan yang sama. Berdasarkan Peraturan Menteri Keuangan (PMK) Nomor 101/PMK.01/2008, dalam rangka meningkatkan kinerja Kantor Vertikal di lingkungan Direktorat Jenderal Perbendaharaan, serta penyempurnaan terhadap organisasi dan tata kerja Kantor Wilayah dan Kantor Pelayanan Perbendaharaan Negara maka sesuai dengan PMK nomor 101/PMK.01/2008 Kantor Pelayanan Perbendaharaan Negara Tipe A mengalami perubahan tipe termasuk KPPN Jakarta II yaitu menjadi Tipe A1. Hal ini diperkuat melalaui PMK Nomor 169/PMK.01/2012, yang menegaskan tugas KPPN Tipe A1, termasuk KPPN Jakarta II, yakni melaksanakan kewenangan perbendaharaan dan bendahara umum negara, penyaluran pembiayaan atas beban anggaran, serta penatausahaan penerimaan dan pengeluaran anggaran negara melalui dan dari kas negara berdasarkan peraturan perundang-undangan.

5. Modernisasi Layanan (2014)

Perkembangan yang terjadi pada Kementerian Keuangan khususnya DJPb bukan hanya pada penyempurnaan organisasi saja melainkan juga proses bisnis, serta optimalisasi IT dan pengelolaan SDM diarahkan ke tingkat global untuk dapat bersaing dengan lembaga pemerintah lainnya. Dan saat ini, KPPN Jakarta II  menjadi salah satu KPPN yang menjalankan Roll Out SPAN (Sistem Perbendaharaan Anggaran Negara) berdasarkan Surat Direktur Jenderal Perbendaharaan Nomor S-9028/PB/2014 tanggal 24 Desember 2014, suatu sistem pelaksanaan perbendaharaan dan penganggaran yang terintegrasi dalam single database yang terpusat di Jakarta dengan pengaplikasian proses bisnisnya berbasis IT.