Sebagai salah satu instansi vertikal pada Ditjen Perbendaharaan, KPPN Padang Sidempuan memiliki sejarah panjang yang dapat diuraikan secara singkat di bawah ini. Pada awalnya, pada jaman penjajah, Belanda, dibentuk sebuah kantor bernama Central Kantoor voor de Comptabiliteit (CKC) atau Kantor Pusat Perbendaharaan Negara (KPPN) yang terletak di Jalan Sudirman Padang Sidempuan. Hal ini sangat istimewa bagi KPPN Padang Sidempuan, karena pada waktu itu hanya ada sembilan buah CKC di seluruh Indonesia, yang tersebar di Sumatera, Jawa, kalimantan, dan Sulawesi. CKC melaksanakan fungsi Comptabel yang dalam perkembangannya dilaksanakan oleh Kantor Kas Negara (KKN).
Pada tahun 1964, berdasarkan keputusan Menteri Pendapatan, Pembiayaan, dan Pengawasan, No.PKN/1/64 tgl. 22 Desember 1964, KPPN, KKN dan Kantor Pengawas Kas (KPKas) diintegrasikan menjadi Kantor Bendahara Negara (KBN). Pada tahun 1983, KBN Pecah, menjadi Kantor Perbendaharaan Negara (KPN) dan Kantor Kas Negara (KKN), berdasarkan SK Menteri Keuangan No.205/KMK.01/1983 tanggal 3 Maret 1983. Atas pertimbangan untuk meningkatkan kualitas pelayanan publik melalui percepatan pelayanan dan efisiensi dalam penyaluran dana APBN, maka dilakukan pemangkasan jalur birokrasi. Pada tahun 1989 dengan SK Menteri Keuangan No. 645/KMK.01/1989 KPN dan KKN digabung kembali menjadi satu dengan sistem pelayanan satu atap (SAMSAT). Perubahan yang terjadi dengan sistem ini antara lain adalah adanya beban kerja KPKN yang dialihkan ke PT.Taspen dan Perum Asabri, serta pembayaran melalui sistem perbankan.
Untuk mendukung usaha peningkatan pelayanan kepada masyarakat, pada tahun 2004, KPKN berubah nomenklatur menjadi Kantor Pelayanan Perbendaharaan Negara (KPPN) dengan SK Menteri Keuangan No. 302/KMK.01/2004. Perubahan tersebut tidak terhenti sampai di sini, KPPN terus berbenah dengan diterbitkannya Keputusan Menteri Keuangan No. 101/PMK.01/2008 yang mengatur tentang tipology KPPN, status KPPN Padang Sidempuan adalah tipe A1.
Pada bulan Oktober 2012, KPPN Padang Sidempuan ditetapkan menjadi kantor Percontohan dengan Keputusan Dirjen Perbendaharaan No. KEP-163/PB/2012. Perubahan terakhir pada struktur organisasi diatur dengan PMK No.169/PMK.01/2012 dengan penambahan satu posisi jabatan eselon IV, yaitu Seksi Manajemen Satker dan Kepatuhan Internal.
Kantor Pelayanan Perbendaharaan Negara Padang Sidempuan terletak di Jalan Kenanga No. 50, Kota Padang Sidempuan. Secara geografis, Kota Padang Sidempuan berada pada 1.080 -1.290 Lintang Utara dan 99.130 - 99.210 Bujur Timur dan berada pada ketinggian 1.100 meter di atas permukaan laut. Suhu udara di Kota Padang Sidempuan antara 240 - 330 C.
Untuk mencapai Kota Padang Sidempuan dapat dilakukan dengan dua cara, yaitu dengan pesawat atau melalui jalur darat dengan mobil dari Medan, Sumatera Utara atau Padang, Sumatera Barat. Bila memilih jalur darat biasanya memakan waktu sekitar 11-12 jam melalui jalan berbukit yang kadang sangat berbahaya pada musim penghujan, terutama di daerah Aek Latong. Jika tidak, dapat menggunakan pesawat, dengan penerbangan sebanyak 3 kali sehari dari Bandara Polonia ke Bandara Aek Godang dengan jarak tempuh 55 menit, dengan pemandangan dari atas Danau Toba. Dari bandara Aek Godang dilanjutkan dengan mobil selama 40 menit ke Kota Padang Sidempuan..
