Secara umum, sejarah KPPN Sibolga tidak bisa dilepaskan dari perjalanan sejarah bangsa Indonesia. Sejak zaman pemerintahan Hindia Belanda, Kantor Perbendaharaan sudah berdiri dengan nama Central Kantoor voor de Comptabiliteit (CKC). Setelah negara Republik Indonesia merdeka, CKC berganti nama menjadi Kantor Pusat Perbendaharaan Negara (KPPN). Selanjutnya Kantor Pusat Perbendaharaan Negara pada tahun 1970 diganti menjadi Kantor Pembantu Bendahara Negara (KPBN) yang merupakan gabungan dari Kantor Pusat Perbendaharaan Negara dengan Jawatan Perjalanan.
Seiring adanya perubahan Struktur Organisasi di departemen-departemen pada tahun 1975, Kantor Bendahara Negara menjadi 3 (tiga) instansi, yaitu: Kantor Perbendaharaan Negara (KPN) yang mempunyai fungsi menangani masalah Pembiayaan dan Pendapatan Negara, Kantor Kas Negara (KKN) yang mempunyai fungsi menangani Urusan Kas Negara, dan Satuan Kerja Kantor Wilayah Direktorat Jenderal Anggaran, yang mempunyai fungsi mengadakan pemeriksaan.
Pada masa itu, mulai tanggal 12 Juni 1976 KPPN Sibolga merupakan Kantor Kas Negara Sibolga (KKN Sibolga), sedangkan Kantor Perbendaharaan Negara (KPN) berkedudukan di Padangsidimpuan.
Berdasarkan Surat Keputusan Menteri Keuangan Republik Indonesia Nomor: 205/KMK.01/1983 tanggal 3 Maret 1983, Instansi Vertikal Direktorat Jenderal Anggaran di daerah diadakan reorganisasi dengan membentuk Kantor Tata Usaha Anggaran (KTUA) di ibukota Propinsi, maka Kantor Satuan Kerja Kantor Wilayah Direktorat Jenderal Anggaran dihapuskan/dipindahkan ke KTUA. Selanjutnya, berdasarkan Surat Keputusan Menteri Keuangan RI Nomor : 645/KMK.01/1989 tanggal 12 Juni 1989, reorganisasi dilakukan dengan menggabungkan KPN dan KKN menjadi satu kantor dengan nama Kantor Perbendaharaan dan Kas Negara (KPKN). Berdasarkan Keputusan Menteri Keuangan tersebut, terhitung mulai 1 April 1990 KKN Sibolga berubah menjadi KPKN Sibolga, dengan tipe D.
Pada tahun 2001, berdasarkan Keputusan Menteri Keuangan Nomor : 442/KMK.01/2001 tanggal 23 Juli 2001 jo. Keputusan Direktur Jenderal Anggaran Nomor KEP-34/A/2001, KPKN Sibolga ditingkatkan tipenya dari tipe D menjadi tipe B. Wilayah kerja KPKN Sibolga meliputi Kabupaten Tapanuli Tengah dan Kota Sibolga.
Berdasarkan Keputusan Menteri Keuangan Nomor: 303/KMK.01/2004, nomenklatur KPKN berganti menjadi Kantor Pelayanan Perbendaharaan Negara (KPPN), yang merupakan kantor vertikal di bawah Direktorat Jenderal Perbendaharaan. Perubahan mendasar dari fungsi KPKN menjadi KPPN adalah peniadaan fungsi ordonansering yang sebelumnya ada pada KPKN dialihkan kepada kantor/satuan kerja kementerian negara/lembaga. KPPN hanya menjalankan fungsi bendahara umum Negara (comptabel) sebagaimana diamanatkan dalam Undang-Undang Nomor 17 Tahun 2003 dan Undang-Undang Nomor 1 Tahun 2004.
Sejalan dengan reorganisasi Direktorat Jenderal Perbendaharaan, berdasarkan Peraturan Menteri Keuangan Nomor 134/PMK.01/2006, KPPN Sibolga ditetapkan sebagai KPPN tipe B (Eselon IIIb). Kemudian tanggal 28 Desember 2007 diterbitkan Keputusan Direktur Jenderal Perbendaharaan No.KEP-297/PB/2007 tentang standard operating procedures (SOP) KPPN Percontohan, maka secara otomatis KPPN Sibolga menerapkan SOP tersebut, dengan ciri-ciri pelayanan: cepat, tepat, akurat dan tidak memungut biaya.
Selanjutnya berdasarkan Peraturan Menteri Keuangan Nomor 101/PMK.01/2008, KPPN Sibolga ditetapkan sebagai KPPN Tipe A2 (Eselon IIIa).
Dalam rangka penataan kembali kantor vertikal Direktorat Jenderal Perbendaharaan khususnya terkait dengan perubahan, penambahan dan penajaman tugas dan fungsi Kuasa Bendahara Umum Negara di Daerah, KPPN Sibolga ditetapkan sebagai KPPN Tipe A2 (Eselon IIIa), dengan wilayah kerja meliputi Kota Sibolga dan Kabupaten Tapanuli Tengah. Penetapan tersebut berdasarkan Peraturan Menteri Keuangan Republik Indonesia Nomor 169/PMK.01/2012.