Der Bauernsohn absolviert zunächst eine Steinmetzlehre, bevor er in die Schweiz geht und in Basel als Geselle bei einem Bildhauer arbeitet, für den er Brunnenskulpturen ausführt. Er lernt den gleichaltrigen Künstler Albert Müller kennen, mit dem er später die Gruppe „Rot-Blau“ gründet. Anfang der 1920er Jahre gibt eine Ausstellung mit Werken von Edvard Munch den entscheidenden Anstoß, sich der Malerei und dem Expressionismus zuzuwenden. 1923 lernt er Ernst Ludwig Kirchner kennen, der ihn nach Davos einlädt. Dort schnitzt Scherer zum ersten Mal Skulpturen aus Holz. Bald darauf zeigt die Kunsthalle Basel eine auch im Ausland vielbeachtete Ausstellung der Gruppe „Rot-Blau“ mit Skulpturen von Scherer.
Der bereits im Alter von 34 Jahren gestorbene Scherer gilt als einer der herausragenden Bildhauer des Expressionismus.
