Vid mitten av 1500-talet fanns det gårdar vid Alsvik och Skälvik. Dessa utvecklades så småningom till byar. Vid sekelskiftet 1900 började sommarvillor och fritidshus att byggas på ön. Idag bor ca 80 personer permanent på Svartsö, och här finns bl a förskola, skola, affär och krog.