从上中学时起，彦涵就开始组织学潮，反对国民党在抗战中的不抵抗政策。虽然他的学习名列前茅，但仍被学校开除。1935年，在舅舅的帮助下，喜欢美术的彦涵进入了国立杭州艺专学习绘画。这是当时颇负盛名的艺术学府，尤以美术教育闻名于世。

1937年，正当彦涵在艺专读完预科三年级的时候，抗日战争全面爆发，日军开始逼近杭州。此刻，艺专的领导人带领学生沿钱塘江开始向西转移。在撤退到长沙的过程中，他为抗战的激情所驱使，发起和组织学生成立了抗日救亡宣传队。平时，他常去中共地下党开办的“生活书店”阅读进步书籍，还买回《钢铁是怎样炼成的》一书，躲在被窝里一直读到深夜，书中的故事深深地影响着他。

在长沙期间，彦涵还偷着跑去听了中共湖南省委徐特立的政治报告，延安的抗战情况，进一步地影响了他，彦涵开始在心里地向往延安。 1938年夏天，彦涵迈出了人生决定性的一步。他没有选择和其他同学一样出国留学，而是秘密地投奔了延安。在几乎没有任何物质准备的情况下，和同学杜芬从西安出发，徒步行走了11天约800余里，终于到达了延安。 彦涵回忆说：“我那时候对革命是很无知的，但却真心实意地要参加革命。原本我们都是想去法国留学的，但那时候中国人受到日本人的侵略，国家都没了，哪里还有个人？”