Er siedelte 1867 nach Berlin über, begann 1872 Privatunterricht im Zeichnen zu nehmen, den er selbst finanzierte, und absolvierte eine Berufsausbildung als Lithograph. 1877 erhielt er eine Anstellung bei der Photographischen Gesellschaft, wo er sich die verschiedensten Reproduktionstechniken aneignen konnte, die ihm bei seinem späteren Schaffen zugute kamen. 1885 veröffentlichte er seine ersten Arbeiten, und ab 1907 arbeitete er freischaffend. 1901 beteiligte er sich an einer Ausstellung der Berliner Sezession, deren Mitglied er zwei Jahre später wurde, und legte damit den Grundstein für seinen Ruf als Zeichner.
     Seine Werke, vor allem Darstellungen der Lebenszustände der unteren Bevölkerungsschichten, des "Milljöhs", gab er in eigenen Mappenwerken heraus, sie wurden jedoch auch in Zeitschriften wie "Simplicissimus" und "Jugend" veröffentlicht. Die mit hoher Meisterschaft gefertigten Zeichnungen brachten ihm große Popularität, 1924 die Aufnahme in die Akademie der Künste und den Professorentitel. Der von den Berlinern liebevoll als "Pinselheinrich" bezeichnete Zille war zu Beginn unseres Jahrhunderts der populärste Künstler der Stadt. Am 4.2.1970 wurde er in Würdigung seines Gesamtwerkes vom Ostberliner Magistrat und von der Stadtverordnetenversammlung postum zum Berliner Ehrenbürger ernannt. 1992 wurde er in die Gesamtberliner Ehrenbürgerliste des Senats übernommen. Sein Ehrengrab befindet sich auf dem Südwestkirchhof in Stahnsdorf.