Olle Grahn, som kom från en bondefamilj, var från 1953 anställd och från 1973 ägare till ett träföretag i Falköping. Han var ledamot i Falköpings stadsfullmäktige (senare kommunfullmäktige) 1967-1976 och var bland annat i perioder ordförande i socialnämnden. Han var även ledamot av Skaraborgs läns landsting 1971-1979.
Han var riksdagsersättare en kortare period 1977 och sedan riksdagsledamot för Skaraborgs läns valkrets 1979-1988. I riksdagen var han bland annat ledamot i trafikutskottet 1982-1988. Han engagerade sig främst i trafikpolitik och i alkoholfrågor.