Ruotsinpihlajan levinneisyys rajoittuu Itämeren ympäristöön. Eniten sitä tavataan Ruotsin etelä- ja länsiosissa. Suomessa levinneisyysalue rajoittuu lähinnä Ahvenanmaalle ja Turun saaristoon. Laji on suomenpihlajaa harvinaisempi.
Ruotsinpihlaja kasvaa kalkkipitoisilla, kivikkoisilla niittymailla ja kalliolehdoissa. Menestyäkseen se vaatii lievästi merellisen ilmaston.