Robert Leaf ist ein zerstreuter Professor für Literatur. Jede technische Entwicklung ist ihm ein Graus und eine potenzielle Bedrohung der Geisteswissenschaften. In regelmäßigen Abständen reicht er aus Protest gegen die Bedingungen an seinem Institut die Kündigung ein, die er jedoch nicht durchziehen kann: Er wird von seinen Studenten verehrt, in seiner kleinen Bucht von San Francisco, wo er mit seiner Frau, der Tochter und dem Sohn Erasmus auf einem Hausboot lebt, ist er bekannt und beliebt und nicht zuletzt könnte er es sich auch finanziell nicht leisten, plötzlich ohne Arbeit dazustehen.

Bei den allabendlichen Hauskonzerten wird bald klar, dass der achtjährige Erasmus vollkommen unmusikalisch ist. Der Vater schwenkt bei der Erziehung des Sohnes aufs Malen um, doch zeigt sich schnell, dass Erasmus farbenblind ist. Und bevor Robert Leaf auf die Idee kommen könnte, dem Sohn Tanzunterricht erteilen zu lassen, stellt sich heraus, dass Erasmus ein absolutes mathematisches Genie ist. Die Presse stürzt sich auf die Familie, während Robert Leaf nicht anderes will, als diesen aus der Art geschlagenen Jungen wieder auf die richtige musisch-literarische Bahn zu bringen. Erasmus’ Schwester Pandora, von allen nur Penny genannt, nutzt das Talent des Jungen und lässt ihn das Ergebnis von Pferdewetten ausrechnen. Und während die Tochter so ihr erstes Geld verdient, kündigt Robert mal wieder seine Professorenanstellung und nimmt sie anschließend nicht zurück. Das Geld geht langsam zur Neige und obwohl Robert entsetzt ist, als er mitbekommt, dass Söhnchen nebenbei Geld durch Wetten einnimmt, nutzt er dies nach anfänglichen Skrupeln, um zusammen mit dem Literaturwissenschaftler Peregrine Upjohn eine eigene Stiftung aufzubauen. Die soll armen potenziellen Geisteswissenschaftlern das Studium ermöglichen.

Dennoch plagen den Vater Sorgen: Ist sein Junge normal? Oft wirkt er abwesend und in sich gekehrt, als würde ihm seine plötzliche Popularität zu Schaffen machen. Ein Psychiater nimmt sich Erasmus’ an und bekommt bald heraus, dass der Junge verliebt ist. Erasmus schwärmt für Brigitte Bardot und schickt ihr jeden Abend lange Liebesbriefe nach Frankreich. Eines Tages erhält er einen Brief der Schauspielerin, die ihn nach Frankreich einlädt. Da Erasmus nun keine Pferdewetten mehr voraussagen will, wenn er nicht Brigitte Bardot besuchen darf, willigt Robert ein und beide fliegen nach Frankreich, wo sie Brigitte Bardot treffen und Erasmus von ihr sogar einen kleinen Hund geschenkt bekommt.

Zurück in San Francisco ist Erasmus vom Treffen mit Brigitte Bardot noch so benommen, dass er unbewusst einen falschen Sieger des Pferderennens nennt. Während Robert sein ganzes Vermögen in die Wette steckt, um mit dieser letzten Wette das Vermögen der Stiftung endgültig zu stabilisieren, plant Peregrine, das Vermögen heimlich an sich zu nehmen und mit seiner Geliebten zu verschwinden. Obwohl Erasmus sicher ist, falsch getippt zu haben und jeder in Panik verfällt, gewinnt das von Erasmus genannte Pferd. Peregrine wird beim Versuch, das Geld am Schalter abzuholen und heimlich zu verschwinden, von Steuerfahndern aufgehalten. Der herbeigeeilte Robert wiederum kann so das Geld an sich nehmen, da es sich bei der Stiftung um eine steuerfreie Einrichtung handelt. Am Ende spielen die Leafs mit Peregrine zusammen an Bord des Hausbootes Musik, wobei sich Peregrine als noch unmusikalischer als Erasmus erweist.