Tout commence en 1939, lorsque Delia Daley et David Strom se rencontrent à un concert de Marian Anderson. Peut-on alors imaginer qu'une jeune femme noire épouse un juif allemand fuyant le nazisme ? Et pourtant... Leur passion pour la musique l'emporte sur les conventions et offre à leur amour un sanctuaire de paix ou, loin des hurlements du monde et de ses vicissitudes, ils élèvent leurs trois enfants.
Chacun d'eux cherche sa voix dans la grande cacophonie américaine, inventant son destin en marge des lieux communs. Peuplé de personnages d'une humanité rare, Le temps ou nous chantions couvre un demi-siècle d'histoire américaine, nous offrant, au passage, des pages inoubliables sur la musique.