Untuk memenuhi kebutuhan akan pendidikan bagi anak-anak panti, maka Batavia's Vereeniging mendirikan sebuah lembaga pendidikan dasar pada tahun 1920.
Semula Sekolah ini hanya menerima anak-anak keturunan Belanda saja, namun sejak tahun 1950 sekolah tesebut mulai menerima juga siswa keturunan Tionghoa dan Pribumi. Dalam perkembangannya lembaga pendidikan dasar itu kemudian diberi nama Sint Yoseph. Lewat surat keputusan pemerintah nomor : 46115 tertanggal 16 Februari 1952, Sekolah Dasar Sint Yoseph berstatus bersubsidi.
Mulanya gedung SD Sint Yoseph yang berlokasi di Jl. Kramat Raya 134 hanya mempunyai 5 (lima) ruang kelas, pada tahun 1958 dibangun lagi menjadi 8 (delapan) ruang kelas. Kemudian pada tahun 1972 dibangun lagi 4 (empat) kelas. Seiring dengan perkembangannya, kini jumlah kelas di SD Sint Yoseph menjadi 14 (empat belas) kelas.
Karena sekolah lama sudah tidak layak lagi digunakan maka pada tahun 1992 dibangun gedung baru berlantai tiga yang diresmikan pada tahun 1993 oleh Uskup Agung Jakarta Leo Sukoto dan Gubernur DKI Soerjadi Soedirdja.
Melihat ada anak-anak yang mempunyai kebutuhan khusus maka pada tahun 1993 Pater Aloysius Ombos OFM merintis pembukaan kelas khusus bagi Anak Berkebutuhan Khusus yang kemudian disebut ABK, dalam pergaulan di sekolah murid kelas ABK berbaur dengan murid reguler agar mereka tidak merasa dibedakan dan termotivasi mengikuti rekan-rekan dari kelas reguler. Saat ini terdapat 28 (dua puluh delapan) karyawan di SD Sint Yoseph termasuk para guru.
Kelas ABK didirikan untuk anak-anak yang mengalami masalah dalam perkembangannya, dalam berbagai disiplin ilmu tercakup dalam istilah:
- Autisma
- Gangguan perkembangan pervasive (PDD)
- Gangguan perkembangan pervasive yang tidak dikenal (PDDNOS)
- Gangguan perkembangan multi-system (MSDD)
- Gangguan atau keterlambatan bahasa
- Tonus otot lemah (hipotonia)
- Gangguan pengintegrasian sensori (sensory integration disorder)
- Gangguan pemusatan perhatian (ADD dan ADHD)
- Gangguan yang berkenaan dengan metabolisme dan gangguan lain.
Mulai tahun ajaran 2007/2008 Koordinator Sekolah Perhimpunan Vincentius Jakarta membuka dan mengembangkan Pelayanan Terapi Edukatif yang diperuntukkan tidak saja bagi anak-anak ABK yang terdaftar di sekolah namun juga menerima Pelayanan Terapi bagi orang-orang /anak-anak ABK dari luar sekolah.
Berikut nama-nama Kepala Sekolah SD Sint Joseph yang pernah berkarya pada Perhimpunan Vincentius Jakarta:
| Tahun 1958 – 1987 : | Datus S. Temaluru |
| Tahun 1987 – 2000 : | Robertus Pardjono |
| Tahun 2000 – 2008 : | Johanes Tifaona |
| Tahun 2008 – 2012 : | Sarmaida Ancilla Lumbanbatu |
| Tahun 2012 – 2014 : | Sr. Maria Christiana OP |
| Tahun 2014 – 2016 : | Sr. M. Florentine Sylvia OP |
| Tahun 2016 – 2018: | Ignatius Taat Ujianto |
| Tahun 2018 – 2022: | Emiliana Riyadi Eti |
| Tahun 2022 – sekarang: | Maria Daru Haryono |