Sarmatia jest najdłużej działającą warszawską korporacją akademicką. Powstała w 1908r. w Petersburgu w wyniku połączenia dwóch tajnych patriotycznych stowarzyszeń studiującej tam młodzieży polskiej – Lechitii i Klubu Nietoperzy. Korporacja miała charakter niepodległościowy i patriotyczny. Z tradycji filomackich i romantycznych wywodziło się hasło petersburskiej Sarmatii „Młodzieży bądź szałem rozumna”, zaś z tradycji powstańczych – melodia hymnu, będąca melodią „Pieśni Strzelców” z czasów Powstania Styczniowego.

W 1915 r. w związku z powołaniem w Warszawie Politechniki Warszawskiej podjęto decyzję o przeniesieniu oficjalnej siedziby korporacji do Warszawy. Sarmatia była pierwszym zarejestrowanym w Warszawie polskim stowarzyszeniem studenckim.

W 1920 r. około 40 – tu Sarmatów ochotniczo wstąpiło do wojska w obronie niepodległości. W wojnie polsko – bolszewickiej polegli: com! com! Bronisław Gąsiorowski i Tadeusz Kuczyński. Korporacja po przerwie spowodowanej wojną wznowiła swoją działalność w 1921 r.

Sarmatia była jedną z najbardziej aktywnych korporacji okresu międzywojennego. Była jednym z inicjatorów powstania takich organizacji jak Legia Akademicka czy Związek Polskich Korporacji Akademickich (data starszeństwa: 8 maja 1908 r.).

Przy Sarmatii kandydowały korporacje: K! Aquilonia w 1921 r., K! Coronia w 1922 r., K! Filomatia Varsoviensis w 1925 r., K! Ostoja w 1926 r. oraz K! Vigintia w 1927 r. Sarmata Walery Starczewski po przeniesieniu na studia na Politechnice Gdańskiej założył tam K! Helania.

We wrześniu 1939 r. Sarmaci wzięli licznie udział w obronie Ojczyzny. Wielu z nich dostało się do niewoli i trafiło do obozów jenieckich lub koncentracyjnych. Ci, którzy mogli angażowali się w działalność organizacji podziemnych AK i NSZ. 33 wzięło udział w Powstaniu Warszawskim. Służyli w formacjach polskich działających na froncie zachodnim, szczególnie w Dywizjonach 301 i 303 w bitwie o Anglię, w 2 Korpusie i w 1 Dywizji Pancernej gen. Maczka, brali m. in. udział w bitwie pod Monte Cassino. Na 209 Sarmatów żyjących 1 września 1939 r. w walkach, obozach, egzekucjach publicznych lub w powstaniu zginęło z rąk niemieckich 41. Z rąk Sowieckich zginęło: 4 osoby w Katyniu i 1 w Starobielsku oraz 1 w bliżej nieznanym miejscu na wschodzie. 3 osoby zaginęły bez wieści. 32 Sarmatów trafiło na obczyznę podczas wojny lub bezpośrednio po niej. Sarmaci mieszkający w Wielkiej Brytanii (6 osób) powołali do życia Koło Filistrów Korporacji „Sarmatia” na Obczyźnie. To dzięki działalności tego Koła udało się odszukać i nawiązać kontakty ze wszystkimi Sarmatami przebywającymi za granicą. W 75 rocznicę powstania korporacji 8 maja 1983 r. Koło na obczyźnie ufundowało i wmurowało w kościele św. Andrzeja Boboli w Londynie tablicę ku czci zmarłych, poległych i pomordowanych członków. Sarmaci mieszkający w kraju po wojnie nie mogli reaktywować „Sarmatii” ze względu na represje ze strony władz komunistycznych. Wszelkie kontakty ograniczały się do spotkań towarzyskich. W 1978 r. w 70 rocznicę powstania korporacji wmurowano w kruchcie kościoła św. Anny tablicę ku czci poległych i pomordowanych Sarmatów. Rektor tego kościoła. ks. prałat Tadeusz Uszyński został w 1978 r. filistrem h.c. Korporacji. Dzięki jego życzliwości i poparciu udało się w latach 1983 – 88 w wieży kościoła akademickiego św. Anny w Warszawie stworzyć kwaterę pamięci poświęconą korporacjom zrzeszonym w Związku Polskich Korporacji Akademickich.

W 1992 roku Sarmatia, jako pierwsza po II wojnie światowej korporacja w Warszawie, wznowiła swóją działalność akademicką.