Secondo uno scritto risalente al 1604, nel luogo dove oggi sorge la chiesa, San Zanobi avrebbe fondato un oratorio nell'estate del 397. Il 15 gennaio del 824 la chiesa venne consacrata a San Zanobi.
La tradizione vuole che il Santo abbia costruito l'edificio originario in pochissimi giorni, questo farebbe pensare che durante l'opera di evengelizzazione del territorio il vescovo Zanobi abbia trasformato un più antico tempio pagano, del quale sono state tracce durante alcune ispezioni archeologiche fatte sotto il pavimento della chiesa. Tali resti, che rappresentano la chiesetta arcaica, sono ora visibili attraverso un cristallo protettivo.
Le notizie certe della chiesetta risalgono però al 1058, anno in cui risulta iscritta tra quelle censuarie del vescovo fiorentino. In seguito passò alla canonica di Mosciano, importante per il suo monastero, ma il 6 novembre 1187 venne passata alla Pieve di Giogoli da papa Gregorio VIII; la chiesa era stata assegnata a Giogoli già da papa Lucio III tra il 1181 e il 1185.
A partire dal XIII secolo la situazione economica della chiesa e di tutto il territorio era pessima tanto che il rettore Diotisalvi Taiuti nel 1260 potè pagare per il mantenimento dell'esercito fiorentinosolo 1 staia di grano; la situazione non migliorò negli anni seguenti tanto che nelle decime del 1276 e del 1302 la chiesa risulta tassata per 2 lire e 14 soldi l'anno. Le scarse risorse economiche impedirono ogni ulteriore miglioramento, nonostante nel lascito di Ubaldino Guadagni, datato 28 aprile 1310 si legga:
« farla dipignere tutta di dentro et di fuora et dipignere la vergine Maria con le braccia aperte per Dio »
Finalmente nel XVI secolo l'edificio venne totalmente restaurato e nel 1645 fu costruita la canonica (su una lapide si legge MDCXXXXV JOHANNES BADINI ADIUNXIT), mentre nel 1648 e nel 1658 furono costruiti gli altari laterali.
Nel 1758 venne realizzata la balaustra del presbiterio mentre nel 1872 venne costruita la nuova sacrestia. Nuovi lavori di restauro vennero effettuati nel 1965, in quell'occasione fu riaperta la finestra a campana posta nella facciata e inoltre venne rimossa la stuoia ottocentesca e smontate una parte delle mura esterne.