Idrettslaget Sørfjell ble stiftet 10. april 1916 som Eydehavn Idrettsforening. Siden den gang har klubben vært en viktig del av miljøet omkring Eydehavn og Saltrød.
I 1921 ble klubben opptatt i Norges Landsforbund for idrett og har siden stått tilsluttet de forskjellige forbund og kretser i fotball, ski, håndball og friidrett.
I 1932 ble Stokken Arbeideridrettslag (AIL) startet. Mange medlemmer gikk over fra det borgerlige Eydehavn Idrettsforening. Det ble lenge en kamp om medlemmer. En stund ble medlemskap i Eydehavn Idrettsforening satt som betingelse for å få arbeid på Nitriden.
Våren 1934 slo EIF seg sammen med FJELL, Saltrød og foreningen tok navnet FJELL. Rett før krigen foregikk samlingssamtaler mellom idrettslagene og etter krigen – 4. juni 1945 – ble FJELL og Stokken AIL slått sammen og kalt Fjell-Stokken. Dette navnet ble imidlertid ikke godkjent av NIF, og i 1948 ble navnet endret til Sørfjell.
Siden 1985 har Sørfjell arrangert Sommerturnering i fotball for barn mellom seks og tretten år. I 2011 var det 70 lag påmeldt turneringen.