Sebelum tahun ajaran 1972 PVJ belum mempunyai lembaga pendidikan setingkat dengan sekolah lanjutan pertama. Akibatnya anak-anak panti asuhan yang lulus Sekolah Dasar (SD) harus melanjutkan sekolah di luar panti. Tetapi jumlah anak Panti yang sudah lulus SD dan akan bersekolah di luar Panti semakin banyak maka, Bruder Winand Divendal OFM menggagas untuk mendirikan Sekolah Menengah Pertama bersama Bapak Leo Sutadi dan Bapak Sumartono.
Tanggal 27 Oktober 1971 Bruder Winand Divendal OFM atas nama Badan Pengurus Perhimpunan Vincentius Jakarta mendirikan SLTP Sint Joseph dengan Kepala Sekolah Bapak Stefanus Sumartono.
Awalnya SLTP Sint Joseph hanya menggunakan 2 (dua) ruang kelas, itupun harus meminjam ruang kelas SD Sint Joseph dengan waktu belajar siang yaitu mulai Pk.13.30 WIB hingga Pk.18.00 WIB. Kini SMP Sint Joseph mempunyai gedung sendiri dengan 6 (enam) ruang kelas di Jl. Kramat Raya 134.
Sejak tahun 1997 SMP Sint Joseph resmi menerima Anak Berkebutuhan Khusus karena banyak orangtua yang merasa kesulitan untuk mencari sekolah bagi anak yang mempunyai kekurangan tertentu. Dalam pengajaran, murid ABK kadang mendapat jam ekstra yaitu setelah jam sekolah, di luar kelas mereka diperlakukan sama dengan murid reguler lainnya. Kini terdapat 18 karyawan di SMP Sint Joseph termasuk para guru.
Berikut nama-nama Kepala Sekolah SMP Sint Joseph yang pernah berkarya pada Perhimpunan Vincentius Jakarta:
| Tahun 1972 – 1995 : | Sumartono |
| Tahun 1995 – 2000 : | Lakirdi |
| Tahun 2000 – 2013 : | Maria Fatima Kleden |
| Tahun 2013 – 2015 : | Andreas Haryanto |
| Tahun 2015 – 2016 : | Tuhombowo Wau |
| Tahun 2016 : | Wahyu Nugroho |
| Tahun 2016 - 2017 : | Dahlia Devi |
| Tahun 2017 - sekarang : | Herman Yosep Edy Susanto |