Företaget grundades 1891, då konditorn Karl Fazer öppnade ett fransk-ryskt konditori på Glogatan 3 i Helsingfors. Konditoriet finns fortfarande i Fazerhus på Glogatan som byggdes 1928–1930.
År 1958 förvärvades Oululainen och 1975 Mazetti. Karl Fazer AB i Sverige grundades 1967. År 2002 förvärvade Fazer Bageri AB tunnbrödsbageriet Lövångerbröd AB och blev 2008 Sveriges näst största bageri genom förvärvet av Lantmännen Färskbröd.