KPPN Baturaja berdiri sejak tahun 1985 dan diresmikan pada tanggal 15 April 1987, yang sebelumnya bernama Kantor Perbendaharaan dan Kas Negara Baturaja yang merupakan gabungan dari Kantor Kas Negara dan Kantor Perbendaharaan Negara sebagai instansi vertikal dibawah Direktorat Jenderal Angaran. Seiring dengan tuntutan perkembangan organisasi dilingkungan Departemen Keuangan pada waktu itu, maka mulai tahun 2005 terjadi perubahan yang signifikan mulai dari struktur organisasi, nomenklatur, sampai dengan penyesuaian tugas pokok dan fungsi.

Tugas pokok dan fungsi Direktorat Jenderal Anggaran lama sebagian tetap berada dalam Direktorat Jenderal Anggaran yang baru, sebagian yang lain melebur ke dalam beberapa unit organisasi baru yaitu Direktorat Jenderal Perbendaharaan, Direktorat Jenderal Perimbangan Keuangan, Direktorat Jenderal Kekayaan Negara, dan Direktorat Jenderal Pengelolaan Utang. Dalam struktur organisasi Departemen Keuangan yang baru tersebut, dan Nama Kantor Perbendaharaan dan Kas Negara berupa menjadi Kantor Pelayanan Perbendaharaan Negara dan posisinya berada dibawah Direktorat Jenderal Perbendaharaan.

Berdasarkan Peraturan Menteri Keuangan Nomor 169/PMK.01/2012 tanggal 6 November 2012 Tentang Organisasi dan Tata Kerja Instansi Vertikal Direktorat Jenderal Perbendaharaan, KPPN Baturaja terhitung 6 November 2012 status/Type KPPN Baturaja meningkat, dari Type A2 menjadi Type A1.

Dalam kaitannya dengan tugas pokok KPPN (yang sebelumnya KPKN), kata kunci "pelayanan" merupakan ciri khas perubahan tersebut yang mengisyaratkan bahwa dalam pelaksanaan tugasnya KPPN mengedepankan unsur pelayanan.