Latar belakang berdirinya madrasah sebelumnya adalah madrasah swasta yang dikelola oleh perorangan. Kemudian pada tahun 1978 barulah dinegerikan dengan Piagam Penegerian Nomor :16/1978 tanggal 06 Maret 1978. Toko perintis penegerian adalah pemilik pondok itu sendiri yaitu KH. Madani Anshori dan didukung oleh dewan guru beserta masyarakat setempat. Madrasah Tsanawiyah Negeri Tanjung Raja berdiri sejak tahun 1978 dengan status tanah adalah milik sendiri, dalam hal ini Kementerian Agama yang luas seluruhnya 4.935 m² dengan sertifikat tanah dengan nomor sertifikat No: 04.07.74.02.4.00005. Kepala Madrasah periode pertama ditahun pertama adalah Bakri Rasyid, BA. Jumlah guru/pegawai dan siswa di tahun/periode pertama, guru ada 3 orang dan 1 orang pegawai. Jumlah siswa tahun/periode pertama ± 75 orang.
Letak geografis Madrasah Tsanawiyah Negeri Tanjung Raja dibangun diatas tanah dataran tinggi yang terletak di jalan Belanti No. 397, dengan luas ± 700 M dari pusat kota. Bangunan awal adalah terdiri atas 3 lokal belajar, 1 buah Mushollah dan 1 ruang guru/pegawai.
Dan pada saat ini untuk menampung 618 orang siswa/siswi MTsN 2 Ogan Ilir telah memiliki 2 ruang belajar, 1 unit masjid sebagai tempat ibadah dan kegiatan lainnya. Memiliki 1 ruang perpustakaan, 1 ruang kepala madrasah, 1 ruang kepala TU, 1 ruang staf, 1 ruang operator, 1 ruang guru yang menampung 44 orang guru, 2 ruang BK, 1 ruang UKS, 1 ruang osis, 1 gudang dan 1 ruang laboratorium IPA.
Perjalanan MTs Negeri 2 Ogan Ilir dibangun dari semangat pelayanan pendidikan yang merata, religius, dan dekat dengan masyarakat. Madrasah ini tumbuh menjadi ruang belajar yang terbuka untuk prestasi, akhlak, dan inovasi.
Setiap fase pengembangan memperkuat fasilitas, mutu guru, dan kerja sama dengan orang tua demi menciptakan lingkungan belajar yang sehat dan berkelanjutan.