Byens idrætsliv leves omkring Tølløse Hallen, hvor badminton, gymnastik, håndbold, bordtennis og løbeklub holder til. Uden for hallen spilles der fodbold, tennis og petanque.
Læs mere om Tølløse Hallen her
Er du vild med at cykle, så er turmulighederne gode. Vejene omkring Tølløse og den nærliggende Maglesø er eftertragtede af elite- og motionscyklister på grund af det meget kuperede terræn.
Svævefly og fjernstyrede modelbiler
Er du til flyvesport så finder du den lokale svæveflyveklub lidt uden for byen.
Læs mere om Tølløse Flyveklub her
Tølløse har også en række andre foreninger, heriblandt klubben Daydreamers for folk med interesse for amerikanerbiler og en klub for den eneste ufarlige motorsport, fjernstyrede modelbiler.
Læs om Midtsjællands Mini Racing Club her
Byens spejdere mødes i "Reservatet" i Tølløse Skoven, og der er spejdergrupper til børn og unge fra tre til 16 år.
Læs mere om Tølløsespejderne